从0到1带你了解ChatGPT原理腾讯云开发者社区

什么是人工智能?简单来说就是一种能够让计算机表现出像人一样智能的科学与技术。那么如何让计算机表现出人的智能呢?简单来说就是通过大量的数据来训练一个模型(模型简单理解就是一个数学函数,训练模型就是利用大量的训练数据来调整这个数学函数的参数),让其呈现出最佳表达,从而能够根据新的输入预测出正确的输出。这不就和我们上学时背诵《鹅鹅鹅》这首诗一样吗?也是经过大量的背诵、纠正、再背诵,最终才背会《鹅鹅鹅》这首诗的。

上文提到了“训练”的概念,是指给机器“喂”大量数据的过程。这里的“训练”一词是以人为主体的表示,如果以“机器”为主体,则称之为“学习”,如同马戏团里驯兽师训练母猪爬树,也可以表达为马戏团里的母猪学习爬树,是同样的道理。机器学习知识的方式主要分为三种:分别是有监督学习(SupervisedLearning)、无监督学习(UnsupervisedLearning)和强化学习(ReinforcementLearning)。

有监督学习,顾名思义,就是机器的学习过程会被监督,就如同你在家学习,父母拿着正确答案在旁边看着一样,你每做完一题,父母都会判断你这个题做的是否正确,不正确的话打回重做。在机器学习领域,指的是我们在给机器提供训练数据时,提供的数据是带有标签或类别信息的,这样机器才能够学习输入和输出之间的映射关系,从而对新的输入进行预测。有监督学习的应用场景非常广泛,如图像识别、股价预测等。

无监督学习,顾名思义,就是机器的学习过程不会被监督,即提供给机器训练的数据是未被标记的数据,由机器自己通过某些算法发现数据之间的潜在结构与规律。如给定机器一些词语:苹果、香蕉、菠萝、猴子、大象、老虎,机器可以自动发现这些词语的内在联系与区别,从而能够把苹果、香蕉、菠萝归为一类,把猴子、大象、老虎归为一类(之所以机器能够把苹果、香蕉、菠萝归为一类是因为他们被转化为机器语言表达后相似度极高,而与猴子、大象、老虎的相似度极低)。无监督学习的应用场景有异常检测、推荐系统等。

强化学习是除有监督学习、无监督学习外的第三种机器学习方式,是一种让机器自己学习如何做出正确决策的方式。就像我们玩《飞机大战》这个游戏一样,不同的操作会得到环境的不同反馈(扣分或加分),基于环境反馈,我们会不断调整、优化自己的操作,最终达到获取最高分的目的。强化适用于那些目标不确定、环境动态变化、需要长期规划的问题,如自动驾驶、机器人控制、游戏AI等。

上文提到模型就是一个数学函数,但如果模型仅仅只是一个数学函数的话,那未免也太过简单了,不能处理复杂的问题,更不能模拟出人这个复杂生物的智能。实际上的模型是由非常多的数学函数以网状或更加复杂的形状形成的一个拓扑结构,由于这种拓扑结构与人的神经网络结构非常相似,我们称之为人工神经网络(ArtificialNeuralNetwork,ANN)。人工神经网络根据实际应用场景的不同发展出多种形态,应用最广泛的神经网络有:前馈神经网络(FeedforwardNeuralNetwork,FNN)、卷积神经网络(ConvolutionalNeuralNetwork,CNN)和循环神经网络(RecurrentNeuralNetwork,RNN)。

前馈神经网络也被称为多层感知器(MultilayerPerceptron,MLP),是一种最简单且最原汁原味的经典神经网络,它由多个神经元层组成,每一层神经元接收上一层的输出作为输入,通过权重和激活函数计算得出输出,传递给下一层神经元。前馈神经网络通常由输入层、若干个隐藏层和输出层组成。每个神经元的计算公式可以表达为Y=f(a1*x1+a2*x2+a3*x3+……+an*xn+b),其中x为输入,a为权重,b为偏置,f为激活函数(如ReLU函数、sigmoid函数等)。在训练过程中,神经网络通过学习调整权重和偏置,使得预测结果与真实值之间的误差最小化。前馈神经网络最经典例子就是数字识别,即我们随便给出一张上面写有数字的图片并作为输入,由它最终给出图片上的数字到底是几。

卷积神经网络常用于处理具有网格状结构的数据,如图像、音频、文本等。卷积神经网络通过卷积操作(一种数学计算如加减乘除等,卷积是用自定义卷积核数据与输入数据进行卷积计算,和卷积核相同的数据将会被保留并放大)对输入数据进行特征提取,从而减少参数数量和计算量,同时提高了模型的准确性和泛化能力。其基本组成部分包括卷积层、池化层和全连接层。其中,卷积层通过卷积操作对输入数据进行特征提取,池化层则对卷积层的输出进行降采样,减少特征数量和计算量,全连接层(就是上文所说的前馈神经网络)则将特征映射到输出类别上。卷积神经网络由于其强大的特征提取能力被广泛的应用于图像识别上(前馈神经网络能够处理体积小、简单的图像,但对于体积大、复杂的图像还是得由卷积神经网络来处理)。

ChatGPT即GenerativePre-trainedTransformer,生成式预训练Transformer,是由OpenAI团队开发的一种基于自然语言处理技术的大型语言模型。它采用了Transformer神经网络架构,通过在大规模语料库中进行无监督预训练,从而学习到语言的内在规律和模式。这里需要说明一下用于描述ChatGPT的几个单词:

预训练模型是指在大规模的数据集上通过无监督学习方式训练得到的模型,该模型能够学习到数据集的统计规律,并提取出数据中的特征。ChatGPT就是首先从大规模的语料库中通过无监督的训练方式学习语言的内在规律和模式的。

大模型指的是具有非常庞大的参数量和计算量的机器学习模型。这些模型通常需要在大规模的数据集上进行训练,以便能够学习到数据中的复杂模式和规律,并在各种任务中取得优秀的性能表现。ChatGPT由于其拥有1750亿个参数和超过45TB的训练数据所以被称之为大模型。

语言模型区别与图像模型、语音模型等,是一种用来预测自然语言文本序列的概率分布的计算模型。简单来说,它就是一个能够根据前面的文本内容预测下一个可能出现的词或字的模型。语言模型通常被用于自然语言处理任务,比如语音识别、机器翻译、文本生成、文本分类等。

ChatGPT的本质可以简单地理解为一个“单词接龙”游戏,也就是你给出上半句,ChatGPT帮你预测下一句。正如我们使用的各种智能输入法软件一样,当我们输入完一个字词后,输入法会自动帮我们联想出你接下来可能要输入的字词。和智能输入法一样,ChatGPT之所以能够帮你预测到下一句,也是基于先前经过了大量文本的学习,了解到某个字词后面接哪个字词的概率最大,于是乎就输出概率最大的那个字词(实际上ChatGPT并不是总是输出概率最大的那个字词,而是会偶然选取出现概率不是最大的那些字词,这样ChatGPT的回答才会显得丰富多彩,而不是一成不变)。

如果ChatGPT仅仅只能预测一个字词后面的字词,那么不管它预测的有多准确,也无法做到我们现在为之惊叹的“智能”。所以,ChatGPT并不是仅仅依赖前一个字词预测下一个字词,而是能依据整个上下文预测下一个字词。比如“今天天气很好,我的心情很_____”,这里如果仅仅只看最后一句,则预测出“愉快”、“糟糕”等都有可能,但如果结合前文“今天天气很好”,那这里预测出“愉快”的概率会更大。ChatGPT正是借助于这种对语言规则和上下文的理解能力,才能做到如今的大放异彩。那么,ChatGPT这种能力是怎么训练生成的呢?这就不得不提NLP发展历史上跨时代的模型-Transformer模型了。

Transformer是一种用于自然语言处理的神经网络模型,由Google提出,目的主要是为了解决循环神经网络在处理长序列时存在的一些问题(简单来说就是循环神经网络无法记住一段文本中较早的单词,所以才演进出了Transformer这种神经网络模型)。Transformer模型的核心是自注意力机制(self-attentionmechanism),它可以帮助计算机更好地理解数据中不同元素之间的关系。举个例子,当计算机阅读一段文字时,自注意力机制可以帮助计算机自动地找出哪些单词与其他单词之间的关系更密切,从而更好地理解这段文字。

虽然ChatGPT的训练数据集很大,但也不可能完全覆盖所有的可能情况和场景,如果要让ChatGPT在某些领域表现的更好,可以使用微调(fine-tuning)的方法。微调是指在已经训练好的模型上,使用一小部分针对特定任务的数据集,对模型进行再训练的过程。这样,模型可以通过针对特定任务的训练数据集,进一步学习和优化自己的参数,从而在特定任务上表现更好。比如我们在一个通用大语言模型的基础上加入一些服务器领域的专业知识进行训练,训练过程中模型会进一步调整自己的参数,让其回答更偏向于一个服务器领域的专家。

简而言之,人工智能离不开三个要素:训练模型、训练数据和训练方式(学习方式)。其中模型就是一个复杂的数学函数,训练就是这个数学函数通过计算大量的训练数据不断调整自身参数使函数最大程度拟合训练数据的过程。训练方式指的是机器学习数据的方式,分为有有监督学习、无监督学习和强化学习。ChatGPT就是一个使用了45TB的训练数据在一个具有1750亿个参数的Transformer训练模型下采用无监督学习、有监督学习、强化学习等多种训练方式而训练出来的产物。得益于模型参数、训练数据的巨大,使得ChatGPT训练出来的的效果出乎人意料,从而掀起了人工智能新一轮的狂潮。

最后的最后,附上一句关于如日中天的ChatGPT很富有哲理的一段话:“人工智能之所以能再次走红,是ChatGPT开始能做一些人类本身就力所能及的事情,而不是做人类做不到的事情,这是人工智能发展的一个转折点。”

THE END
1.ChatGPT的工作原理解析chatgpt模型公式ChatGPT的核心是Transformer架构,它是一种专门设计用于处理序列数据的深度神经网络结构。与传统的循环神经网络(RNN)相比,Transformer具有以下优势: 并行计算能力强:Transformer可以并行处理输入序列中的所有元素,大大提高了训练速度。 长距离依赖建模能力强:Transformer通过自注意力机制可以捕捉输入序列中任意两个元素之间的关系https://blog.csdn.net/m0_62554628/article/details/142835504
2.最近爆红的ChatGPT到底是个什么玩意儿?这些基本概念你要知道序列应ChatGPT 可用于各种有趣和有创意的应用程序。以下是您可以使用 ChatGPT 执行的一些示例。 生成文本和响应 ChatGPT 最流行的用途之一是根据提示生成文本。通过提供提示,您可以要求 ChatGPT 生成文本作为响应。例如,您可以要求 ChatGPT 根据提示生成一个故事,或者您可以要求它完成一个句子或段落。 https://3g.163.com/dy/article/HT25VD1805561IOL.html
3.怎么让ChatGPT优化代码?Worktile社区怎么让ChatGPT优化代码 要让ChatGPT优化代码,可以尝试以下方法: 1. 代码优化技巧 首先,可以采用一些常见的代码优化技巧,例如使用合适的数据结构、减少循环次数、减少重复计算等等。这些技巧可以提高代码的执行效率,从而加快程序运行速度。 2. 算法优化 另外,也可以从算法的角度进行优化。尽量选择高效的算法,避免使用时间https://worktile.com/kb/ask/539173.html
4.OpenAI是如何胜过谷歌的?ChatGPT发展简史ChatGPT由GPT-3.5模型提供支持,GPT(Generative Pre-trained Transformer,生成式预训练变换器)是一种基于互联网可用数据训练的文本生成深度学习模型。名字中之所以有一个Transformer,是因为GPT就是OpenAI在谷歌的Transformer语言模型框架的基础上构建的。 该模型使用了"利用人类反馈强化学习(RLHF)"的训练方式,包括了:人类提https://aidc.shisu.edu.cn/7f/a0/c13626a163744/page.htm
5.ChatGPT使用量的计算ChatGPT聊天将消耗token(这里称之为积分),积分的计算比较复杂,发送的文本要计算积分,回来的文本也要计算积分。 如果是上下文聊天,每次发送文本都要包括之前的聊天记录,因此,积分消耗更多。 那么,具体一段文本怎么计算token数量呢?计算比较复杂,粗略来说,一个简单的英文单词就是一个token,复杂的英文单词可能是2~4个tohttps://www.douban.com/group/topic/288590324
6.ChatGPT模型大战:讯飞星火认知大模型百度文心一言能否击败GPT数值计算 推理解题 跨语言能力 文生图 总结 个人感受 一、你有使用过这种对话式AI吗?你对这类型AI有什么看法或感受? 二、对于“讯飞星火大模型将超越chatgpt?”这个命题你的态度是什么?简要说说原因 三、你认为这类型的人工智能对于现在的社会有哪些意义? https://blog.51cto.com/u_14943402/10335157
7.GPT图解大模型是怎样构建的■初代GPT:基于 Transformer 的单向预训练语言模型,采用生成式方法进行预训练。 ■ChatGPT:从GPT-3开始,通过任务设计和微调策略的优化,尤其是基于人类反馈的强化学习,实现强大的文本生成和对话能力。 ■GPT-4:仍基于Transformer架构,使用前所未有的大规模计算参数和数据进行训练,展现出比以前的AI模型更普遍的智能,不仅https://labs.epubit.com/bookDetails?id=UB836238e7a9d3d
8.云计算:ChatGPT的“中枢神经”开发侧,ChatGPT 生长在云上, 依赖于云计算服务,多年来OpenAI共收到了上百亿的投资,这些资金帮助 OpenAI 在平台上运行和训练其模型;产品侧,OpenAI 基于Cloud Native进行应用开发,基于云计算提供的便捷高性能计算运算模型和打磨算法,并对外销售产品和 API;而投资方基于 AI Native 来提升搜索、绘画等产品,未来会在Offhttps://m.thepaper.cn/newsDetail_forward_22342649
9.“整篇论文没有我自己写的东西”:论文是AI写的,算学术不端吗赵铭在ChatGPT的帮忙下完成了硕士毕业论文,他在国内一所985大学的理工科专业就读,毕业论文的内容是关于云计算。他总结了几种使用ChatGPT的方法,比如凑字数。 ChatGPT很适合“凑字数”,只要发出指令,一句观点便能扩充至几百字。但字数一多,它也会暴露出不足,很多受访者都反映它会重复说“车轱辘话”,“它废话是https://static.nfapp.southcn.com/content/202305/31/c7740338.html
10.解惑了——ChatGPT基于知识库提问token计算方法最近一直做知识库的训练,基于公司的场景一直做课程助手、课程推荐专家的训练。 慢慢了基于知识库回答的一些原理,也慢慢给自己解惑了。 首先,token的计算 众所周知,ChatGhttps://www.jianshu.com/p/519c4c606743
11.为何ChatGPT有时“一本正经地胡说八道”李祖超:对于ChatGPT是否能成为操作系统的新雏形这个问题,我的答案是积极的。操作系统的作用根据用户指令实现资源的分配以及计算的调度,那么ChatGPT发挥的作用是充当新的人机接口,更智能地实现用户指令的解译,减少用户的操作。从更长远来看,通过赋予ChatGPT管理系统资源如硬盘、CPU、外设等能力,将ChatGPT直接作为一种操作系https://m.gmw.cn/2023-02/23/content_1303292513.htm
12.ChatGPT标注指南来了!数据是关键ChatGPT 这个超大的模型可能暂时不需要,但我们在实际工作中很多模型(尤其是推荐)是小时或分钟级别更新的。对这种情况,应该在一开始设计的时候将这部分流程考虑进去。这部分更多是设计和工程问题,比如数据怎么更新,存储在哪里,如何获取,是否需要转换,是否需要定时清理,伸缩性,可用性等多个方面。http://www.360doc.com/content/23/0309/17/1071268750_1071268750.shtml
13.2023年爆火的软件“ChatGPT”到底是个什么呢?ChatGPT的详解以及2023年2月2日,微软官方公告表示,旗下所有产品将全线整合ChatGPT,除此前宣布的搜索引擎必应、Office外,微软还将在云计算平台Azure中整合ChatGPT,Azure的OpenAI服务将允许开发者访问AI模型。 2023年2月3日消息,IT 行业的领导者们担心,大名鼎鼎的人工智能聊天机器人 ChatGPT,已经被黑客们用于策划网络攻击时使用。 http://www.quwaifu.com/News/View/22739