如何测试ChatGPT的语义理解与常识推理水平?——兼谈大语言模型时代语言学的挑战与机会

作者:袁毓林;来自:《语言战略研究》

【关键词】ChatGPT;大语言模型;新图灵测试;威诺格拉德模式挑战;WinoGrande数据集

一、引言:大语言模型给语言学家带来的挑战与机会

照理说,语言学家应该是欢迎语言技术的进步与飞跃发展的,但是当人工智能聊天机器人ChatGPT风靡全网、风光无限时,不少语言学家又感到危机空前,因为ChatGPT等大语言模型(largelanguagemodel,LLM)在语言理解与生成方面功能强大,并且几乎绕开了当代主流的语言学理论与方法(详见Piantadosi2023)。这于有形无形中都是在向语言学施压。对此,比较敏感的语言学者是心怀戒备与恐惧的。其实,十几年前,“没有语言学的计算语言学”就已成为许多语言学家的心头之痛;对此,国际自然语言处理学界也大声呼吁过:让语言学重新回到计算语言学中,并且成为自然语言处理的支撑性学科(详见Wintner2009)。只是彼时的自然语言处理系统水平不太高,还不足以显示语言学对于语言处理技术几无用处。现在情况不一样了,能够聊天、答问、写作甚至解数学题、编程序、写代码的ChatGPT就摆在大家面前,没有办法视而不见!怎么办?一种乐观主义的想法是“天生我材必有用”,ChatGPT等大语言模型既然会给语言学造成危机,那么一定也会给语言学带来某种机会!是的,危中必有机,天无绝人之路;在大语言模型时代,语言学一定是挑战与机会并存的,一切端看我们怎么应对。

二、机器智能水平的语言理解测试和分布式语义学

笔者从2006年至2018年,先后指导了两届博士后和两届博士研究生研究这个问题,经过10多年的不懈努力,初步解决了这类难题,发表了一系列论文(陈振宇,等2009,2010;陈振宇,袁毓林2010;袁毓林,等2010;卢达威,袁毓林2019),研制出了效率较高的“汉语亲属关系的自动推理系统”。现在,这类亲属关系问题基本上难不倒ChatGPT。下面是笔者跟ChatGPTplus(下同)关于亲属关系推理的问答记录(2023–06–21):

ChatGPT对(1)(3)两题的回答相当不错,但对(2)的回答不尽如人意,因为它对“婶婶”的理解不够正确(“丈夫的妹妹”是“小姑子”,“丈夫的兄弟的妻子”是“妯娌”;“父亲的兄弟的妻子”才是“婶婶”,辈分上差了整整一辈呢!)。

这就是大语言模型表面上能够理解人类自然语言的意义的技术奥秘所在。那么,能不能就此说人工智能语言模型已经真正理解人类自然语言,并且真正具有人类智能呢?我们语言学还能做些什么呢?这就要看这种人工智能系统能不能通过有关的智能水平测试。为什么?因为要从理论上排除碰巧的可能,机器智能水平的测试向来是用语言理解水平作为标杆的。④为了方便大家了解原委,下面简单介绍图灵测试及其替换版本。

三、从“图灵测试”到“新图灵测试”

四、从“威诺格拉德模式挑战”到“WinoGrande数据集”

五、ChatGPT如何回应语义理解与常识推理挑战?

总之,ChatGPT在语义理解和常识推理能力方面虽然并非完美无缺,但是其正确率和流畅度的确达到了令人惊讶的程度。

六、结语:机器到底能不能理解自然语言?

(一)机器不可能像人一样具身地理解自然语言

具身模拟动用的大脑部位,就是我们大脑专门用于跟世界直接打交道的相同部位。当我们模拟观察,我们用的就是大脑中用来观察事物的部位;当我们模拟做动作,大脑中用来指挥肌肉运动的部位也跟着活跃起来。这就是说,模拟的意思就是在我们的脑海中创造出先前经历的回响,将大脑在先前感知和运动经历的活跃模式,以强度有所减弱的共鸣形式再现出来。我们用自己的大脑模拟感知与动作,但真正的感知与动作并没有发生。(Bergen2012:17)

显然,机器没有具身模拟这种认知能力,所以不可能像人一样真切地创造和理解意义,不能感受到语言所表达或激活的有关事物的颜色、形状、气味、滋味、声音等感觉特征。正如米切尔(Mitchell2021)所指出的,要想理解人类的语言,就需要理解这个世界,而只能接触到语言的机器无法获得这样的理解能力。我们来思考一下“跑车超过了卡车,是因为它的速度更慢”这句话是什么意思。首先你需要知道“跑车”和“卡车”是什么,而且需要知道车辆可以互相“超车”;从更基本的层面来看,车辆是存在于世界上、能够与之互动的物体,且由人类驾驶。据此,我们认为,要求机器跟人一样具身地理解自然语言,其实本身就是不合理和不公平的;这就像要求飞机必须像鸟儿那样扇动翅膀来飞行一样,是不近情理的。

(二)语言学家应积极参与人工智能研究

接下来另一个不便开口的问题可能是:在大语言模型时代,语言学会不会像钉碗、补锅、修伞之类的手工老行当一样,在新技术和新产品面前自行消失呢?我们认为,消失应该是不会的!但是,变化和革新是必须的!那么,语言学家到底可以做些什么呢?答案也许是:拥抱并适应新技术带来的变化,主动地了解新技术的成效、不足及其背后的原理,更加精细地研究语言的结构形式和语义解释规律,至少可以为人工智能的语言理解测试集的设计提供基本原则、语法规律和实例分析数据;比如,威诺格拉德模式挑战之类的测试集,语言学家完全是有能力构建的。这比空谈人工智能系统能不能理解人类自然语言要有意义得多。

记得美国第35任总统约翰·肯尼迪说过:“不要问国家能为你做什么,而要问自己能为国家做些什么。”在当下语境中,我们则要说:“不要问时代和社会真的会不会抛弃语言学,而要问语言学真的能为时代和社会做些什么!”

七、注释与参考文献

地址:北京市海淀区中关村南大街27号中央民族大学理工楼516室(100081)

THE END
1.ChatGPT与接口测试chatgpt实现接口测试csdnChatGPT与接口测试 2024软件测试面试刷题,这个小程序(永久刷题),靠它快速找到工作了!(刷题APP的天花板)-CSDN博客文章浏览阅读1.3k次,点赞60次,收藏8次。你知不知道有这么一个软件测试面试的刷题小程序。里面包含了面试常问的软件测试基础题,web自动化测试、app自动化测试、接口测试、性能测试、自动化测试、安全https://blog.csdn.net/2301_76387166/article/details/134993585
2.如何使用chatGPT做谷歌SEO文章优化?这个工具是我之前在测试chatgpt内容的时候发现的,虽然是免费的但是和付费的做对比以后发现准确率还是很高的。如果想长期使用chatGPT产生内容的朋友,这个工具还是非常的推荐给你们的。 图片来源:zeroGPT截图 如果该工具发现有了AI写的内容会以黄色背景的形式显示出来,这种内容如果发布在谷歌网站或者社媒上的话就会被被检测https://www.cifnews.com/article/150840
3.如何搭建并部署ChatGPT接口服务如何搭建并部署ChatGPT接口服务 最近有不少朋友在问用于微信的ChatGPT接口以及怎么搭建ChatGPT接口服务,本文将以一个github开源项目为例,演示在Linux下搭建ChatGPT接口服务的流程。 一、准备工作 1、一台国外服务器(Linux环境) 国内的服务器目前无法访问ChatGPT的服务。https://www.deanhan.cn/create-chatgpt-api-for-wechat.html
4.用ChatGPT做软件测试dayuhome的技术博客本书以目前流行的大语言模型ChatGPT为基础,用丰富的案例演示ChatGPT在软件测试中的赋能作用。本书主要介绍如何用ChatGPT生成需求规格说明书、测试计划、功能测试用例、自动化测试用例、接口测试用例、测试数据和性能测试用例,以及ChatGPT在分析测试结果、辅助CI(Continuous Integration,持续集成)、生成测试总结报告和职业发展https://blog.51cto.com/u_13542393/12412401
5.对话ChatGPT一次产品视角的GPT功能测试(基于gpt3.5模型)Hello,大家好,作为一个又菜又爱玩的产品,OpenAI在厚积薄发后,其4.0的大语义模型通过了图灵测试,一时间国内产品圈和互联网圈“狼来了“的各种言论喧嚣直上。各种营销号也开始疯狂的贩卖焦虑,但是这个东西到底是一个颠覆生产关系的跨时代产品,还是一个营销的骗局呢?没有实践就没有发言权: https://www.imooc.com/article/334971
6.连玉君:我与ChatGPT聊了一个月说明:下面这段代码是这两天我刚写的,存放在我的本地电脑上。我没有通过邮件或微信跟任何人分享过这个代码。我想测试一下 ChatGPT 能否读懂这段代码,并帮我写个解读代码的说明文档 (类似于帮助文件或 readme 文档)。整体看来,它完成的不错。 5.1 ChatGPT 能读懂代码吗? https://lianxh.cn/news/4936433d8b2e9.html
7.检测ChatGPTGPT我用Bard、ChatGPT 和 HuggingChat 生成的内容测试了 Typeset,它准确地检测到了所有内容。 5. Hive Moderation 网址: https:///ai-generated-content-detection Hive Moderation 的 AI 生成内容检测偶尔会将人类生成的内容误认为是 AI。为确保可靠的结果,建议在将其用作主要资源时使用备份工具。AI 生成内容检测提供http://www.360doc.com/content/23/0619/22/1085405986_1085405986.shtml
8.在手机上轻松使用ChatGPT:一站式教程·构建你的智能应用,使用蓝集成ChatGPT API:获取OpenAI的API密钥并将其集成到你的应用程序中。确保API调用的安全性,在服务器端处理关键数据。 用户界面设计:根据用户需求设计简洁、高效的用户界面。考虑到移动设备的特点,尽量减少用户输入步骤,提高交互效率。 测试与部署:开发完成后,需要进行全面的测试,确保在不同型号的手机上都能正常运行。最后https://docs.lanyingim.com/news/easy-use-chatgpt-mobile-39-20240713-2-11-1720868646.html
9.校验ChatGPT4真实性的三个经典问题:快速区分GPT3.5与GPT4,并提现在已经有很多 ChatGPT 的套壳网站,以下分享验明 GPT-4 真身的三个经典问题,帮助你快速区分套壳网站背后到底用的是 GPT-3.5 还是 GPT-4。 大家可以在这个网站测试:https://ai.hxkj.vip,免登录可以问三条,登录之后无限制。咱们使用免登录的额度测试就已经够用了 https://www.cnblogs.com/hashtang/p/17784620.html
10.ChatGPT聊天体验本篇整理一下近几天与ChatGPT对话的记录,在理解人类语言这个层面上(AI语言模型都是概率论统计学基础上的模型,所以它的理解主要是统计学意义上理解,而不是感知和推理上的理解),的确达到了相当高的水平,自然流畅对话不在话下,当然也远不是无所不能,还是有一些不足与局限。我们讨论了与ChatGPT相关的一系列https://www.jianshu.com/p/51fa9082494f