首先，在ChatGPT的框架下，有很多东西待发现。机器学习在过去10年里一直在迅速发展，ChatGPT利用了许多最先进的技术来实现其结果。
神经网络是相互连接的“神经元”层，每个神经元负责接收输入、处理输入，并将其传递给网络中的下一个神经元。神经网络构成了当今人工智能的支柱。输入通常是一组称为“特征”的数值，表示正在处理的数据的某些方面。例如，在语言处理的情况下，特征可能是表示句子中每个单词的含义的词嵌入。
词嵌入只是一种文本的数字表示，神经网络将使用它来理解文本的语义，然后可以将其用于其他目的，比如以语义逻辑的方式进行响应！
因此，在ChatGPT中按回车键后，该文本首先被转换为词嵌入，这些词嵌入是在整个互联网上的文本上进行训练的。然后有一个经过训练的神经网络，在给定输入词嵌入的情况下，输出一组合适的响应词嵌入。然后，使用应用于输入查询的逆操作将这些嵌入入翻译成人类可读的单词。这个解码后的输出就是ChatGPT打印出来的内容。
ChatGPT模型大小
因此，每个查询至少需要两次1750亿次计算，这加起来很快。OpenAI可能已经找到了一种方法来缓存这些计算以降低计算成本，但不知道这些信息是否已经发布到任何地方。此外，预计将于今年年初发布的GPT-4，据称参数增加了1000倍!
编码器、解码器和RNN
自然语言处理中常用的一种神经网络结构是编码器-解码器网络。这些网络的设计目的是将输入序列“编码”为紧凑表示，然后将该表示“解码”为输出序列。
传统上，编码器-解码器网络已经与循环神经网络(RNN)配对，用于处理顺序数据。编码器处理输入序列并产生固定长度的向量表示，然后将其传递给解码器。解码器处理这个向量并产生输出序列。
编码器-解码器网络已广泛应用于机器翻译等任务，其中输入是一种语言的句子，输出是将该句子翻译成另一种语言。它们也被应用于摘要和图像说明生成任务。
变压器与注意力
在2017年发表“AttentionisAllYouNeed”论文时，变压器取代了编码器-解码器架构，成为自然语言处理的最先进模型，因为它可以在较长的文本中实现更好的性能。
生成式预训练是一种在自然语言处理领域特别成功的技术。它涉及以无监督的方式在海量数据集上训练广泛的神经网络，以学习数据的通用表示。这个预训练网络可以针对特定任务进行微调，比如语言翻译或问答，从而提高性能。
生成式预训练架构，摘自《通过生成式预训练提高语言理解能力》
把一切结合在一起
因此，在ChatGPT的框架下有许多活动部件，这些部件只会不断增长。看到它如何继续发展将是非常有趣的，因为许多不同领域的进步将帮助类似GPT的模型获得进一步的采用。