ChatGPT从字面上可以分解成两个词Chat+GPT。Chat是聊天的意思,GPT是GenerativePre-trainedTransformer的缩写,生成式预训练语言模型,使用Transformer架构来处理自然语言处理(NLP)任务。说人话就是能够通过理解和学习人类的语言来进行对话,使其能够生成与输入语句相匹配的自然语言响应。它使用了海量的文本数据进行预训练,涵盖了互联网上的网页、书籍、论文等丰富资源,从而掌握了丰富的语法、语义、常识和上下文理解能力。可以真正像人类一样来聊天交流,能完成撰写邮件、视频脚本、文案、翻译、代码,写论文等任务。
总结一下就是它有大量的训练语料,超大规模的训练参数(上千亿),能自己生成内容(注意这里不是检索,所以你会发现每次向GPT提问同样的问题,得到的答案都是不一样的)。就算一个它不知道的东西,它都可以根据已掌握的数据,生成一个答案,虽然有时候可能在胡说八道,从这个角度,确实已经很像人类了。
ChatGPT具备许多令人兴奋的特性,使得它成为当今领域内备受瞩目的创新。主要的特点有:
ChatGPT展现了强大的上下文理解能力,可以深入理解对话的背景,并提供准确的回答。这使得对话更加连贯,用户可以轻松进行复杂的交流,无需重复提供背景信息。
ChatGPT擅长回答各种问题,无论是实际知识、推理还是其他领域的问题,都能给出相应的回答并提供有用的解决方案。
ChatGPT具备学习能力,能够从大量数据中不断吸收新知识,并将其应用于对话和问题的回答中。这使得ChatGPT能够跟上时代的发展,逐渐变得更加智能和准确。
ChatGPT可以使用多种语言进行对话,包括中文、英文、西班牙语、法语和日语等。它能够流利地进行交流,满足全球用户的需求。
ChatGPT具备处理复杂问题的能力,并以简单易懂的语言解释和回答。即使是看似复杂或专业的问题,ChatGPT也能够以用户友好的方式解释,使用户更容易理解。
由于其出色的性能和灵活性,ChatGPT适用于各种场景。无论是智能家居、智能客服还是其他领域,ChatGPT都能够帮助人们解决问题,并提供高质量的交互体验。
遇事不决,先问GPT。我们先问一下ChatGPT,Prompt是什么?
我们来简单概括一下ChatGPT的回答,Prompt就是提示工程(PromptEngineering)是指在使用自然语言处理(NLP)模型(例如GPT-4)时,设计和优化输入文本(即提示)的过程。这一过程旨在更有效地引导模型生成所需的输出结果。提示工程的关键在于提高模型的表现,使其更准确、有趣或符合特定上下文要求。
好了,那如何才能写出清晰的Prompt呢?让他能理解我们的问题,给出高质量的答案。就像与人沟通其实也是有很多技巧学问的,同样的,其实跟ChatGPT沟通也是有一些规律、模版是可以遵循的。
相信你掌握了以上6个最佳实践技巧,对ChatGPT的使用已经很熟悉啦~
不过,任何一个技巧、模版都不可能是万能的,很多时候,模版或技巧确实可以帮我们快速的达到及格线的水平,但是如果一直靠这些花里胡哨的东西,你永远也不可能成为一个行业顶尖的人才。很多东西是需要大家下苦功夫,在实战中一点点慢慢摸索出来的。实践才是检验真理的唯一标准。
其实GPT不是OpenAI公司的原创,而是由谷歌公司发明。是不是跟当年操作系统的图形用户界面其实是施乐公司最新发明的,却被乔布斯窃取到并应用到苹果的系统上一样。包括后来的iphone手机,大家也可以搜一下,其实所有的设计都是借鉴了其他公司的产品,但是乔布斯把他们组合并创新成了一件最伟大的艺术品,从而开启了一个全新的移动互联网时代,所以有时候并不一定什么都要原创,站在巨人的肩膀上来微创新,有时候更容易出成果。
上面扯的有点远了,我们回到为什么GPT3.5才算真正的人工智能这个问题上。
2018年OpenAI采用TransformerDecoder结构在大规模语料上训练了GPT1模型,揭开了NLP模型预训练+微调的新范式。2019年,OpenAI提出了GPT2,GPT2拥有和GPT1一样的模型结构,但得益于更多和更高的数据质量以及新引入的多任务学习方式,语言生成能力得到大幅提升。之后由于GPT采用Decoder单向结构天然缺陷是无法感知上下文,Google很快提出了Encoder结构的Bert模型可以感知上下文,效果上也明显有提升,同年Google采用Encoder-Decoder结构,提出了T5模型,从此大规模预训练语言模型朝着三个不同方向发展。
也就是说在GPT3.0之前,谷歌的Bert模型是远超OpenAI的GPT模型的。这里补充一个知识点,GPT3.0之前都是开源的,OpenAI由于一些商业等多方面的考虑,从GPT3.5开始,模型都是闭源的。
直到2020年OpenAI提出了GPT3将GPT模型提升到全新的高度,其训练参数达到了1750亿,训练语料超45TB,自此GPT系列模型的数据飞轮便转动起来,超大模型时代开启,NLP任务走向了预训练+情境学习新路线。由于GPT3可以产生通顺的句子,但是准确性等问题一直存在,于是出现了InstructGPT、ChatGPT等后续优化的工作,通过加入强化学习模式实现了模型可以理解人类指令的含义,会甄别高水准答案,质疑错误问题和拒绝不适当的请求等。
从GPT3.5,GPT突然涌现出了“乌鸦”能力,之前的都可以理解成量变,一种鹦鹉学舌的能力,并没有真正的智能。
可能是大力出奇迹,我感觉跟人脑是一个道理,一个神经元没啥智慧,一百万个、一百亿个可能也没啥智慧,不过增加到一千亿个神经元连接,突然就有智慧了,涌现出了能力。这是一件很玄学的事情,包括现在世界顶级的人工智能专业也无法解释这种现象,我们只能理解成大力出奇迹。
这里拿出一点篇幅来普及一下什么“鹦鹉学舌”的假人工智障,什么是拥有“乌鸦”能力的真人工智能
所谓鹦鹉学舌,就是东施效颦。没有GPT之前,几乎所有的自然语言处理都遵循着这一范式。他没有真的懂你的意思,只是一种模式匹配,比如之前的语音助手,只能识别有限的场景,比如你问他,帮我导航去天安门,他可以给你答案,但如果你让问他火星怎么去,他可能就回答不了你,因为他的数据库里没有这个问题的答案。也就是说,他只能回答在自己的数据库里有对应答案的问题,一旦你的问题超出了他的数据范围,他是没办法给你回复的。无法做到根据现有的数据生成新的数据,但是世界的问题千千万,不可能穷尽所有的可能把所有的问题答案都事先准备好,这也是之前的人工智能大家感觉并不智能的原因,因为他的底层实际上还是在做匹配。我举一个程序员都能理解的例子,比如你要实现一个不同条件得到不同结果的功能,我相信大部分程序员都是这样实现的。
乌鸦通过观察,自主串通了
这三件事情,从而利用红绿灯和汽车,来帮自己达到“安全打开坚果”这一任务结果。
如果类比成机器学习模型,过往“鹦鹉学舌”范式的解法,是要求所有乌鸦可以共享一个大脑,它们有很清晰的优化目标,即“保住性命的前提下打开坚果”。它们的方式是,随机尝试所有事件的组合,并向着最优解的方向不断演化。
最后,再给大家看一张图,让大家了解ChatGPT是如何一步步演化到目前的水平的:
通过上图,大家可以看到:
这里解释几个专用名词:
InstructGPT:
ChatGPT的交互模式,让GPT的能力,更加贴近人类真实交互方式。在in-contextlearning基础之上,进一步降低了prompting的门槛;一定程度解决了GPT-3生成结果与用户期望不一致的非预期输出,大幅降低了有害的、错误或偏差的输出结果,让GPT更符合人类胃口
RLHF
ChatGPT背后的核心技术之一,让模型学习人类的偏好。全称是reinforcementlearningfromhumanfeedback,通过构建人类反馈数据集,训练一个reward模型,模仿人类偏好对结果打分,是GPT-3后时代LLM越来越像人类对话的核心技术
ChatGPT
InstructGPT的亲戚,但一些优化方式也带来了ChatGPT的更泛化和准确能力,再次引爆了AIGC。ChatGPT总体来说和InstructGPT一样是使用RLHF进行训练,但模型是基于GPT3.5,而且数据设置上也不同。ChatGPT是一个输入,模型给出多个输出,然后人给结果排序,让模型可以学习人类的排序策略,即使是一本正经的胡说八道看起来也很合理的样子
AI时代已来,面对每天海量的信息铺面而来,我想说,不要焦虑、不要担心自己会被替代,最好的方式就是保持一颗平常心,主动的拥抱AI,让AI成为你的个人助理,根据自身的情况,先从能马上提高自己工作生活效率的内容学起,躬身入局,日拱一卒,相信不久的将来,你一定会感谢今天的你的坚持!