ChatGPT作弊难逃,99%命中检测,堪萨斯大学全新算法,研究登Cell子刊

AI检测器有谱了,新算法实现99%的准确率。

此前,曾有不少人研发ChatGPT检测器,但没有一个能够真正有效鉴别。

来自堪萨斯大学的研究人员介绍了一种全新的算法,能够检测是否用ChatGPT作弊,准确率超99%。

最新研究已在6月7日,发表在CellReportsPhysicalScience期刊上。

该论文的作者之一、堪萨斯大学化学教授HeatherDesaire表示,

「我们努力创建一种易于使用的方法,这样,即便是高中生,只需很少的指导,也可以为不同类型的写作构建一个人工智能检测器。」

就像研究者所称,90%准确性往往是不够的。但要获得更高准确性,取舍往往是普遍性。

这组训练数据,包含1276段聊天机器人示例段落。

研究者利用这些数据构建了ChatGPT检测算法。

在段落层面上,其准确性较低,但仍令人印象深刻:该算法发现了92%的由人工智能生成的段落。

值得一提的是,论文称,从一些细节中就能发现,哪些内容是ChatGPT创作的。

通过对训练集中许多示例的手动比较,研究者确定了4类特征。这些特征有助于区分人类写作和聊天机器人。

(1)段落复杂性,(2)句子长度多样性,(3)标点符号,以及(4)流行词或数字

总的来说,人类作家写的段落更长、使用词汇量更大,包含更多的标点符号。

而且,还倾向于用「然而」、「但是」和「尽管」这样的词来修饰他们的陈述。而ChatGPT在引用数字,提及其他科学家方面没有那么具体。

在如下表分类中,人类擅长的内容要比ChatGPT多得多。

在这四类特征中,有两类(1和3)是ChatGPT产生的内容不如人类复杂的方式。最大的区别特征是每段句子的数量和每段总单词的数量。

在这两种情况下,ChatGPT的平均值都明显低于人类。

研究者还发现,人类更喜欢改变句子结构。人类改变句子长度的次数超过ChatGPT。人类也更频繁地使用较长的句子(35个单词或更多)和较短的句子(10个单词或更少)。

剩下的两类区分特征可以更多地描述为「文体」选择。

一方面,人类科学家更频繁地使用问号、破折号、括号、分号和冒号,而ChatGPT使用更多的单引号。

人类还使用更多的专有名词和/或首字母缩略词,还有数字。

这个由Desaire公司建立的这个模型,对于那些希望惩罚作弊的高中生的老师来说,是行不通的。

该算法是为学术写作而建立的,特别是人们在科学期刊上读到的那种学术写作。

这家公司表示,理论上你可以使用同样的技术来建立一个模型,来检测其他类型的写作。

不过,不得不考虑的一个事实是,一个人可以很容易地对一个聊天机器人的写作进行一些小调整,并让其更难被发现是作弊,事情就更复杂了。

尽管如此,研究人员将这项研究描述为「概念证明」,并表示未来可以开发一个更加稳定,准确的工具与更大的数据集。

如果人工智能继续以极快速度发展下去,谁也无法保证这样的检测方法,能否依然有效。

因为大型语言模型越接近复制人类语言文字的能力,识别机器人语言的痕迹就越困难。

自ChatGPT面世以来,已经被许多高校的学生和老师用在日常的作业和教学中。

然而,如果不加以限制,ChatGPT将会变成史上最强大的作弊工具,可以帮助学生们写作业,甚至是完成考试论文。

为了反侦察,一款简单易用的检测器成为老师期盼的东西。一位22岁普林斯顿大学的学生EdwardTian,就自行开发了一款检测器——GPTZero。

甚至,OpenAI官宣推出一个新工具,名为AITextClassifier的文件检测器。

但是,这些检测器的表现并不如人意。

检测出AI创作的内容听起来很简单。但当给你一封手写邮件和ChatGPT生成的邮件后,我们几乎无法辨别。

Turnitin的人工智能副总裁EricWang称,用软件检测人工智能写作涉及统计学。从统计学的角度来看,人工智能与人类的区别在于它极其稳定地处于平均水平。

直白点讲,AI水平很稳定。然而,实际上并非这样一个道理。

「像ChatGPT这样的系统就像是自动补全的高级版本,寻找下一个最可能要写的单词。这实际上就是它为什么读起来如此自然的原因。AI写作是人类写作中最可能的子集。」

THE END
1.一.ChatGPT只有有限的技术壁垒机器学习的核心算法是都是公开的机器学习的核心算法是都是公开的 ChatGPT的核心算法是Transformer Model 这还是谷歌2017年发布的算法 调整参数是一个非常困难的工作 但这本身并不是一个壁垒 比如量化交易公司的算法是绝密且困难的工作 但这本身并不是壁垒 只有专利是真真正正的壁垒 只有专利意味着必定后无来者 https://xueqiu.com/3976999949/242252671
2.ChatGPT模型采样算法详解gpttemperatureChatGPT模型采样算法详解 ChatGPT 所使用的模型——GPT(Generative Pre-trainedTransformer)模型有几个参数,理解它们对文本生成任务至关重要。其中最重要的一组参数是temperature和top_p。二者控制两种不同的采样技术,用于因果语言模型(Causal language models)中预测给定上下文情景中下一个单词出现的概率。本文将重点讲解tehttps://blog.csdn.net/jarodyv/article/details/128994176
3.chatgpt背后的算法是基于一个transfotmer,通过基于自身反馈的强化学习来chatgpt背后的算法是基于一个transfotmer,通过基于自身反馈的强化学习来进行模型训练 参考答案:不准确。ChatGPT背后的算法是基于一个名为GPT(Generative Pre-trained Transfo 点击查看答案http://www.ppkao.com/kstkai/daan/c5832b0df93141779498dfcd9f6b8378
4.剧中的压缩算法是否可行,我问了Chatgpt(硅谷第一季)剧评剧中的压缩算法是否可行,我问了Chatgpt 回答如下: 在《硅谷》剧中,主人公理查德(Richard)和他的团队开发的压缩算法“波多黎各”(Pied Piper)是一种非常强大的数据压缩算法,可以将音频、视频等数据压缩到非常小的尺寸,同时保持高质量的输出。虽然这个算法在剧中取得了很大的成功,但是从技术角度来看,这个算法在现实中https://movie.douban.com/review/15003427/
5.强人工智能视域下新闻传播的变革与应对以生成式人工智能ChatGPT基于ChatGPT信息资源获取和应用能力,它极大可能成为继搜索引擎、网络浏览器等互联网入口之后的新入口,与用户建立更加紧密的联系,创造出全新的人机关系,并直接影响用户的新闻信息搜集、获取和消费。 ChatGPT实现内容分发个性化和情感性结合,放大传播效果。在弱人工智能阶段,新闻个性化分发基于数据、算法和用户“画像”进行https://www.cnii.com.cn/gxxww/zgdxy/sdsp/202308/t20230831_500087.html
6.算法对付算法,斯坦福大学严查ChatGPT代写论文算法对付算法,斯坦福大学严查ChatGPT代写论文 发现更多热门视频 淄博职业学院通报“学生突发疾病禁止男性医护人员进入宿舍”:已达成和解 第一帮帮团6942次播放 美国网民拍到两架F-117低空飞行 空警世界3.9万次播放 这是在巴基斯坦的网友拍摄到,他看到几个人手搓客车… 戏剧人生窥世8800次播放 张本:发哪你都能接,https://video.sina.cn/finance/2023-01-29/detail-imycvtrt0393619.d.html?pt=mlist
7.中国版ChatGPT能否后来居上?综合全部资讯一言以蔽之,中国不仅具有在数据、算法、算力和应用方面追赶海外AI技术的硬实力,更拥有长期为AI时代保驾护航的文化基因。或许这种科技的潜力会让我们在AI技术领域后来居上,但是这种积淀了几千年的中华智慧,才是中国版ChatGPT走向世界的终极法宝。 当沸腾的水壶在瓦特眼里勾勒出蒸汽机的雏形,有谁会意识到工业革命的车轮https://www.p5w.net/roll/complex/202311/t20231114_5844656.htm
8.ChatGPTChatGPT是一款建立在云计算、海量数据库、人工智能算法架构和深度神经网络基础之上开发的聊天机器人程序,它不像传统的搜索引擎一样复制和拼凑网上已有的信息给用户。相反,它提供的回答是有逻辑的、生动的,有上下文关联的。 总结一下,ChatGPT是美国人工智能研究实验室OpenAI新推出的一种人工智能技术驱动的自然语言处理工具https://www.jianshu.com/p/805abc3dcaae
9.是什么让ChatGPT变得如此聪明?仍然未知的大语言模型“能力涌现但这次以ChatGPT为代表的一众大语言模型,突然突破了这个门槛,变得非常“聪明”。当然背后的原因有很多,比如自监督学习、Fine-tuning策略等等,但有一个重要的底层变化——大语言模型的“涌现”(Emergent)现象,就是说一些业界从未想象到的能力,例如基础的社会知识、上下文学习(ICL)、推理(CoT)等等,在训练参数和数据量https://36kr.com/p/2210585582301824