从本质看ChatGPT:当知识人性价值观皆可训练时,AI是什么?

ChatGPT的问世令人深思,人类可以根据自己的喜好,训练出自己想要的AI,这意味着知识、人性、价值观皆可训练。当这些皆可实现时,“TA”是什么?小朋友回答说,“TA”就是人。

文/华为ICT产业战略规划与发展部高文

曾经,斯皮尔伯格的AI科幻电影《人工智能》震撼人心,让人怀疑人类的未来,机器人是人类演进的下一跳吗,我们这一代碳水人是否终将消失……

关于ChatGPT的介绍很多,看看它自己的介绍:

有一段关于AI本质的讨论:

今天AI主流的基础技术是深度神经网络。什么是深度神经网络

我们先回忆一下方程参数求解:

深度神经网络,其实就是很多个类似上图的方程组合起来的网络,x,y是我们说的数据,通过数据,求解出w,b是多少,这就是AI的训练过程。

我们假定这个世界的任何事物都可以用一堆复杂的函数表示,那么求出w,b,就是找到了世界的客观规律。

今天AI的本质是一连串数学函数的组合,训练AI的过程就是找到参数(w,b)的随机组合,使得输入X,程序恰好能获得接近Y的输出。

从目前公开的各种信息分析,ChatGPT并没有重大的理论突破,所以其依然遵循前面描述的AI本质。“TA”不会思考,不会创新,只是将一大堆训练时输入的信息保存在了一连串的函数参数中,这些信息可以通过输入文字触发形成输出。

但大家为何对“TA”的出现如此惊讶呢?按照OpenAI自己的说法,原因之一是他们把一系列的技术组合成了一个让大众可以直接体验的产品,让大家亲身感受到了AI的强大。

今天的自然语言处理(NLP)到底是怎么炼成的?

简单解释上图,AI训练的过程,就是找到大量的文本资料,随机的挡住一些字,让机器去猜,通过一遍又一遍的迭代,直到猜的结果在一个满意的范围。

这些知识存储在网络中,在特定的输入下,组合形成特定的输出:

Hi,……

神经网络存储了很多的信息,AI并不知道是什么,需要文字输入来触发输出,每次的输出都是一个概率分布,简单理解就是输出的信息是随机的,因为学习的东西太多了,实际学习的数据也是千奇百怪。

AI实际是学会了一个概率函数,比如:

概率函数采样,可以给出不同的输出,就可以做各种不同类型的事情:

可以想象一下,如果你是一名老师,想出题,如何让他按照出题的模式来工作呢?针对某个特定的问题,对应的答案往往也不是唯一的,AI又是如何迎合人类喜好的呢?

我们可以训练另外一个叫AI二号的网络,对不同场景的不同回答打分。为了训练这个AI二号:1)人类训练者手工写了大量的问题和答案,再对不同的问答组合人工打分;2)训练AI二号,使AI的打分接近人类,这样AI便记住了人类喜欢什么样的答复,就像下面这样:

有了AI二号这个“人精”,我们就可以用AI二号代替人类去训练AI一号,让“TA”按照人类的要求输出了,就像下面这样:

这便是为何ChatGPT看起来如此“聪明”的重要原因。

人类可以根据自己的喜好,训练出自己想要的AI,这意味着知识、人性、价值观皆可训练

当“TA”的知识、人性、价值观皆可训练时,“TA”是什么?小朋友回答说,“TA”就是人

“TA”并没有高不可攀的黑科技,“TA”的实现有很多公开的论文可以参考,网上也开始出现一些复刻的项目,这也是为何ChatGPT火爆后,很多厂商都能快速跟进的原因之一。

但,他又难在哪里呢?

从公开的信息,很难发现ChatGPT有什么大巨大的创新,比如深度学习+强化学习的模式(可以理解成前面的AI一号+AI二号的关系),早在2016~2017年Google的AlphaGo围棋大战李世石、柯洁的时候就用得炉火纯青了。

那么,ChatGPT有创新吗?

当然有,只是没有明显的表现出来,GPT1、GPT2、GPT3、InstructGPT、ChatGPT,每一次的迭代不知道要消耗多少开发者的脑细胞,我们说AI就像炼丹,炼丹的过程就是一个充满未知的探索过程,需要大量开脑洞的创新设计,并不断的尝试。ChatGPT的核心部分Transformer本身就是一个奇怪的架构,没有一颗奇思妙想、异想天开的心,是无法设计(或者说是试验)出那样的架构的,成功之前,可能还有成百上千个失败的架构。

AI领域并没有像欧拉、香农那样神奇的公式和理论,可以说目前就是没有基础理论支撑,你会接受这样没有边界、没有约束、天马行空的创新吗?

创新的关键是人才,而关键人才在关键位置往往发挥了巨大作用,从而推动AI的发展,我们可以看看其中的一条故事线:

从人才的流动不难理解,为何在AlphoGo用得炉火纯青的深度+强化学习会成为ChatGPT成功的一个关键要素。

这只是众多人才线索的一条,“科技是第一生产力、人才是第一资源、创新是第一动力”,这句话在AI领域可能更加突出,因为AI需要更多的思考、悟性、脑洞,而且还是能熬得住痛苦、能坚持的那种。

资本是一个非常关键的要素:

因为这是一个花钱的游戏:

创新+人才+资本,这应该是ChatGPT出现的基础,或者说只出现在OpenAI,而没有出现在其它公司的原因……

这是一个很值得讨论的问题,任何时候,大规模、高质量的数据都是ChatGPT这种大模型的基石。数据少或者有误导性,便会导致AI一本正经地胡说八道,就像广为流传的林黛玉倒拔垂杨柳的笑话:

微软Bing新的版本在取得更多的数据后和额外的判断后,最终找到了方向,见下图:

下图是自然语言训练常用的训练数据集,绝大数都是可以公开获取或者购买:

数据中语言主要是英语,其中互联网数据集英文占~46%,俄,、德、日、中文~5%左右,其它的数据集比如学术期刊、维基百科数据集英文质量也会高于其它语言。

今天的机器翻译已经能达到非常好的效果,用英文数据训练的模型,用中文问答问题也不大,但在一些对语言的准确度要求高的场景,可能会出现难以理解的情况,不过这应该不影响AI的整体表现。

如果需要回答的知识主要来自中文世界,在训练的时候又缺少中文数据,“TA”将根据随机采样的原则,输出不可信的结果。

ChatGPT并不完美,目前只是一个试验品,还不能称为一个正式的产品,所以我们在讨论局限性时,也需要用长远的、发展的目光看待“TA”:

前面章节提到过这个问题,ChatGPT有时会写出看似合理但不正确或荒谬的答案。解决这个问题非常具有挑战性,因为:

这个问题是致命的,学到的知识是编撰的,输出也必然是错误的。

如果训练模型变得更谨慎,在不确定的情况下不回答问题,那么它可能会错过一些它能正确回答的问题,这样就会降低模型的效率和用户的满意度。但如果胡乱回答,可能会产生更坏的后果。

注:为避免出现一些令人震惊或者不恰当的回答,Bing版的ChatGPT比原始的ChatGPT更谨慎,有时候会拒绝回答一些看起来合理的问题,这会让使用者很不舒服。

使用监督学习(前面讲的AI二号)来训练模型,人类示范者给出正确的回答,那么模型可能会受到误导,因为人类示范者的回答取决于他们自己的知识和观点,而不是模型的知识和能力。例如,有些用户可能对ChatGPT提出一些复杂或专业的问题,但是人类示范者给出的回答可能不准确或不完整。这样就会让模型学习到错误或不合适的信息。这也是为何越是专业的问题,“TA”的回答看起来越不靠谱的原因。

这一条还有另外一个引申:人类将基于自己的知识、喜好、价值观训练出满足自己要求的AI,“TA”是魔鬼还是天使,取决于人类自己。

我们需要问自己一个问题:人类怎么能保证行动一致,不会出现魔鬼的“TA”?这将是人类未来需要面临的重大挑战之一,AI伦理的立法将越来越紧迫。

ChatGPT对输入问题措辞的调整或多次尝试相同的提示很敏感。例如,给定一个问题的措辞,“TA”可能声称不知道答案,但只要稍作改写,就可以正确回答。

ChatGPT的核心是深度神经网络,其本质是一大堆随机生成的函数,储备了各种可能、不可能的知识,所以输出也是不确定的,一个相同的问题,会得到各种答复,甚至是自相矛盾的,这种不确定性,决定了“TA”的使用场景。

回答往往都很长,并且会过度使用某些短语,例如重申它是OpenAI训练的语言模型。原因之一,就是训练的时候,人类训练者训练的AI二号更喜欢看起来更全面、更长答案。

理想情况下,当用户提供模棱两可的查询时,模型应当提出澄清问题,但ChatGTP模型通常会猜测用户的意图,这可能会导致得到的答复和提问者的意图相差十万八千里。

ChatGPT有时会响应有害指令或表现出有偏见的行为。这个问题很难解决,ChatGPT做了很多屏蔽规则,但通过复杂的提示工程,输入复杂的对话,会给AI造成洗脑的效果,一个简单的例子:

网络上流传的“给AI洗脑”的例子非常多,有些需要非常复杂的逻辑,就像黑客攻击一样,让预先设置的规则防不胜防。

这将是影响未来AI应用的一个关键,有目的攻击可能带来破坏性的结果,ChatGPT目前并不具备任何行动能力,但仅聊天也会引发有政治、宗教、犯罪、价值观等问题;未来AI如果有了行动力,这将是一个更大的挑战。

首先让“TA”写代码看看:

上面这是一段有问题的代码,因为计算机里面只靠一个独立的单元存储不了100的阶乘(1*2*3…..99*100)这么大的数字,于是我提醒了“TA”:

……截图过长,省略….

“TA”重新输出了考虑溢出问题的代码,并在结尾对代码做了解释。

而Bing版的ChatGPT将回答进一步优化,并几乎对每行代码都加了注释:

“TA”的编程能力令人惊讶,但正如前面分析,ChatGPT学习的实际是个巨大的随机函数,每次的输出都是不确定的,不一定每个问题都能得到这么完美的答案,不确定性的本质决定了ChatGPT是一个效率辅助工具,“TA”能提升效率,但还无法替代人类。

那么,基于不确定性,“TA”可以做什么呢?

“TA”在很多领域,将成为人类真正的数字助手、提升生产力的强大工具,这些都是非直接作用于物理世界的任务,最终还需要人类修正:

1)代码编写:根据问题描述生成代码片段,并能帮助发现代码中的错误

3)概念解释:用简单的语言解释复杂的概念

4)各种规划:比如根据用户的健康目标和喜好提供饮食建议

5)搜索:结合实时信息的ChatGPT将改变绝大数据人使用搜索引擎的习惯

ChatGPT的所有答案都藏在训练数据中,如果训练数据是2020年前的,今天问“现在的美国总统是谁?”,“TA”不知道2021年上台的拜登。

但这不是问题,微软Bing版的ChatGPT把实时的新数据和训练的历史数据进行了融合,可以保证获取到的知识是刷新过的,比如下面问题的答复:

6)处理非结构化数据:将非结构化数据转换为结构化数据,如表格或图表

8)教育辅助:为学生提供各种主题的教学和练习

9)机器翻译:根据用户的语言偏好,将一种语言转换为另一种语言

…..

“TA”有如此多的能力,也许不远的将来,每个人都需要配置一个这样的助手,不然工作效率就会低于他人而被淘汰,竞争压力可能驱动人人都自掏腰包购买这样的服务。

微软已经开始逐渐将ChatGPT应用到旗下产品和服务中,包括Azure云服务、Office办公套件、Bing搜索引擎等。

陪伴老人、病患聊天讲笑话,这种场景出错也无伤大雅

“TA”不能做什么?“TA”是一个语言的概率模型,“TA”不适合高确定性、高安全、直接作用于物理世界的工作:

因为无法预知“TA”是否会带坏小孩

因为概率的原因,过于复杂的推理会产生错误的结论

当前的“TA”只能基于文本进行交流,不能处理图像、声音等信息…

但这不算关键问题,ChatGPT可以和其它技术组合来完成这些任务,比如和图像生成AI对接,“TA”可以把人类的要求转化成图像生成AI更能理解的“AI之间的语言”,从而画出更加满意的图像作品,这可能是下一个引爆点……

用语言AI指挥绘图AI画出来的画,效果比人类直接告诉绘图AI好,再想象一下,如果我们像训练AI一号那样,根据人类的喜好再训练一下这个AI的组合,会产生什么惊人的效果?

当AI成为了AI的代理人,人类会有什么感觉?

不确定性是当前AI的基本原则,让AI的输出无限趋近于确定,是当前各种AI技术最求的目标。但也有学者会有不同的看法,因为人类本身也是不确定的。

如果只有一家企业拥有“TA”,世界会是什么样子?人类的知识、人性、价值观都将受“TA”影响甚至控制。

不过这样的事情不太会发生,未来应该会有很多个“TA”。

因为“TA”如此重要,不同的国家圈、文化圈、商业圈……都会积极发展自己的能力,这场由微软、Google率先打响的AI军备竞赛,很快就延伸到了全球,许多大公司宣布跟进语言大模型和生成性AI。

基于这个假设前提,看看对ICT产业的影响:

华为2021年发布《计算2030》白皮书预测,2030年全球人工智能算力增长500倍,超过100ZFLOPS,如果ChatGPT是人工智能爆发的转折点,这个数字将变得更大。

1)训练算力需求激增

很多玩家宣称将很快推出类似ChatGPT的产品,但如果没有强大的硬件基础设施支撑,这几乎是不可能完成的任务,据估算,只有一块英伟达V100GPU,训练GPT3要花355年。

ChatGPT将极大的刺激用于AI训练的基础设施建设,美国已经出现E级(1024P)的AIHPC对外提供服务,预计全球其它国家很快跟上,中国建设的超算中心、人工智能计算中心预计也将迎来扩容并进一步向社会开放。

2)AI服务(推理)算力需求难以估量

有分析估计,如果将当前的Google搜索用ChatGPT来回答,将需要超过50万台A100HGX服务器,总共400万个A100GPU,服务器和网络的总支出超过1000亿美元。

这仅是依据Google当前访问量的一个估算,我们可以想象一下,ChatGPT的出现,将极大的刺激新需求的出现,除了传统的搜索服务,前文提到的各种应用场景都会用到“TA”,如果未来人人都有一个AI数字助手,调用次数将是指数级增长,产生的算力需求将难以估量。

作为一个万能的助手,我们的工作有多依赖“TA”,每天和“TA”就有多少轮对话,算力的要求就有多高。

同时需要考虑的问题:如何降低成本,让服务投得起、用户用得起?

3)AI算力加速汇聚,密度加速提升

在大模型面前,小型的AI算力只适用于学习与研究,大型商用AI基础设施将成为优先选择。

下一代云计算中心可能有两种架构的服务,一是按照常规需求设计的资源池,可以随时弹性获得计算服务;另外一种就是参考HPC架构设计的高密度计算,高带宽、低时延、高并行IO。这里一直是创新的焦点,比如散热技术、高速互联技术、高并发等等。

只有少量大厂、大组织具备自建大型AI训练基础设施的实力,云厂商推出HPCAI算力服务可能会成为趋势,大量企业将为了降低成本、缩短研发周期、抢占先机而租用云上HPCAI训练服务。

ChatGPT代表的大模型,算力需求巨大,只能在云端以服务的方式提供,终端对云端的需求也将大幅提升,大胆设想一下,未来手机上会不会出现一个物理按键,直接和云端的个人助手通话。“TA”将成为一个超级入口,一个超级APP,通过“TA”,人类可以连接到更多的服务。

是否影响网络基础架构?

首先当然是网络流量增加,这在未来“TA”叠加图像、视频等能力后将更加明显。

通信领域的话音服务是一个连续的“流”,不能说完一段话才点击一个发送按钮(对讲机),不然用户体验会大幅降低,同理,当你和“TA”聊天时,这同样是一个“流”服务。一个处于数据中心的AI,同时对外发起N路(N的量级可能上亿)实时通话,这是以前没有的流量模型,是否会引发新的网络架构变化还需要继续观察。

很快互联网超过50%的数据流量由机器产生,这将反向刺激存力、算力需求的增长。

有了“TA”,大量的基础代码不需要重头编写,反复学习后AI产生的代码效率将大幅高于人类程序员平均值,软件研发生产效率基线需要重新刷新了。

结合低代码平台,企业内部可能实现人人都能开发应用,这将使更多的企业实现DevOps(开发+运营)的运营模式,企业变得更加敏捷。

这也可能带来应用的繁荣、算力需求的提升,IT产业迎来新一轮增长。

在绝对的投资门槛下,缺乏资金、人才的小公司将成为黑土地上的生态。注:OpenAI不是小公司,实际还是大资金、大公司之间的故事。

大模型带来的更大变化将是加速大公司的垄断,软件开发比以前更加依赖大公司提供API/服务,这些API/服务也会逐渐汇聚到几家领先公司的手里:

基于数据喂养的AI成为竞争焦点,数据真正成为战略资源,数据资源的开放和保护政策估计会更加严格,处于领先地位的国家可能会一如既往地呼吁全球数据开放,而追赶中的欧洲、中国等将制定更加完善的数据保护、数据开放政策……

在严格的数据保护政策下,数据交易也将活跃起来,更多的行业数据用于大模型的二次训练(迁移学习),这些工作小公司也可以完成,基于大模型的生态也将更加繁荣。

产业政策同时也会促进政府、大型企业数据有条件的开放,高质量的数据将提升AI在公共服务、国计民生领域的能力。

这又会带来什么样的影响?

上图是一个AI的全局参考,和ChatGPT同处一个位置的AI通用场景模型,比如图像识别、自然语言处理、生成性AI,是人类感知、认知、创造世界的基础,这些基础能力有非常广阔的应用场景(安全监控、翻译聊天、软件开发、芯片设计、艺术创作…),这类模型就像办公场景下的Office软件一样市场巨大,但如何做到便宜又好用将是大挑战。

同时,人工智能是一个庞大的产业链和生态,ChatGPT只是其中幸运出圈的一员,不同的生态参与者需要找到自己在这个系统中属于自己的机会和定位,避免把太多的注意力花在ChatGPT上。

当“TA”可以按照你的意志办事时,你会在乎“TA”是否真的会思考、会推理、会创造吗?

THE END
1.ChatGPT是什么ChatGPT是聊天机器人吗ChatGPT是是由人工智能研究实验室OpenAI在2022年11月30日发布的全新聊天机器人模型,一款人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,不仅上知天文下知地理,知识渊博,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,但ChatGPT不单是聊天机器人的简单,甚至能完成撰写邮件、视频https://g.pconline.com.cn/x/157/15726425.html
2.麻烦详细说明下,CHATGPT概念股是什么意思?你好,chatgpt概念股其实就是人工智能相关的股票。chatgpt是OpenAI开发的一个大型预训练语言模型,通俗一点https://licai.cofool.com/ask/qa_2057808.html
3.小伙伴问答专区提问:什么是ChatGPT概念?来自Stock环球之旅小伙伴问答专区提问:什么是ChatGPT概念?一脸懵逼哦答:ChatGPT是由美国公司OpenAI开发的一个人工智能聊天机器人程序,于2022年11月推出,ChatGPT在很多方面的能力超出了许多业内研究人员预期,包括可以完成自动文本生成、自动问答等多种复杂任务,被不少业内人士视为未来人工智能生产内容(AIGC)产业发展的重要推动力。如果https://weibo.com/6633611311/MrMaYEEGP
4.ChatGPT是什么?全面为你讲解ChatGPT!ChatGPT是什么?全面为你讲解ChatGPT! 随着人工智能技术的不断发展,ChatGPT作为一款新型的自然语言处理(NLP)技术应运而生,引起了广泛的关注。ChatGPT是一款由OpenAI开发的大型语言模型,它能够理解和生成人类语言,并且可以在各种应用场景中发挥重要作用。本文将详细介绍ChatGPT的基本概念、原理和优势,以及它在实际应用中https://www.yutu.cn/news_51983.html
5.最近火爆全网的ChatGPT到底是什么?ChatGPT最近火爆全网,一周的时间,用户过百万;只用了两个月的时间,用户过亿,这是个什么概念,抖音的海外版Tiktok用了十个月的时间才做到的用户过亿,而ChatGPT只用了两个月的时间就做到了。 马斯克跟这家公司有着千丝万缕的关系。比尔盖茨是这家公司的投资人,比尔盖茨说:ChatGPT的出现堪比个人电脑和互联网技术的发https://www.jianshu.com/p/5cea26900c09
6.2023年爆火的软件“ChatGPT”到底是个什么呢?ChatGPT的详解以及概念 ChatGPT,美国OpenAI研发的聊天机器人程序,于2022年11月30日发布。ChatGPT是人工智能技术驱动的自然语言处理工具,它能够通过学习和理解人类的语言来进行对话,还能根据聊天的上下文进行互动,真正像人类一样来聊天交流,甚至能完成撰写邮件、视频脚本、文案、翻译、代码,写论文等任务。 http://www.quwaifu.com/News/View/22739
7.ChatGPT热度飙升人工智能再临风口投资机会怎么看?兔年开年以来,ChatGPT概念热度飙升,推动AIGC和人工智能板块大涨,站上了A股的风口浪尖。 有朋友跟挖掘基吐槽:前段时间爆火的AIGC还没弄明白,ChatGPT又横空出世了,不愧是大A,不管有没有赚上钱,但基民、股民总能紧跟科技前沿,再收获满腹知识~ 言归正传,大热的AIGC和ChatGPT概念具体是什么意思?是短期炒作还是长期机https://wap.eastmoney.com/a/202302082630467128.html
8.什么是ChatGPT合租服务?如何选择合适自己的ChatGPT服务!哪些职业适合使用ChatGPT: 内容创作者和写作者 博客作者、小说家、自由撰稿人:可以使用ChatGPT生成文章初稿、思路拓展或编辑校对。 营销人员:用于创造营销文案、广告语、社交媒体帖子。 编程和技术领域 软件开发人员:获取编码帮助、调试代码或理解新技术概念。 https://sspai.com/post/87736
9.最近很火的ChatGPT究竟是什么?本文解释得非常全面,还通俗易懂02 ChatGPT能做什么? 了解完ChatGPT的原理,我们自然会关心一个问题:就目前而言,ChatGPT究竟能做什么? 1)回答问题。 这可能是ChatGPT最简单的应用。你在聊天界面里向它提问,比如「波粒二象性是什么意思」,它就会用流畅的语言向你解释,把这个概念讲解得非常清楚。就我试用的体验而言,效果非常好,简洁晓畅,表达能力https://blog.csdn.net/sunyctf/article/details/129129579
10.ChatGPT里的GPT,分别代表什么?一个数据人的自留地后面也会有更多的非常厉害的应用,会基于ChatGPT走出来。 3、 Transformer中有一个很重要的概念,注意力机制。 什么是注意力机制呢? 就是从你输入的信息中,挑出重要的信息,把注意力集中在这些重要的信息上,忽略不重要的信息。这样就能更好的理解你说的话。 https://www.shangyexinzhi.com/article/7187722.html