Transformer，这是一种仅依赖于注意力机制而不使用循环或卷积的简单模型，它简单而有效，并且在性能方面表现出色。
Transformer模型完全基于注意力机制，而不再使用循环神经网络。由于注意力机制可以并行化，因此Transformer具有更好的并行性能和更好的实验结果。
论文作者取了标题中“generativepre-training”，将模型命名为GPT。
在自然语言理解中，存在许多不同的任务，但标记数据相对较少。因此，针对这个问题，一种解决方法是在没有标注的数据上训练一个预训练模型，然后在有标记的数据上进行微调。
GPT模型基于Transformer架构。与循环神经网络（RNN）相比，Transformer在迁移学习方面更加稳健，因为它具有更结构化的记忆，可以处理更长的文本，并从句子和段落层面提取更好的语义信息。
在微调任务中有两个目标函数。一个是预测下一个单词，另一个是预测给定完整序列的标签。通过对它们的加权平均来平衡这两个目标函数。
自然语言处理任务的多样性也导致了需要为每个任务构建不同的模型，GPT采用的解决方案是改变输入的形式而不是改变模型本身。
NLP中四种常见的用户任务：
在GPT模型中，它们都可以表示为一个序列和对应的标签。
在进行下游任务时，使用一个称为“zeroshot”的设置。也就是说，在进行下游任务时，不需要下游任务的任何标注信息，也不需要再次训练模型，然后得到了差不多的结果。这种方法的好处是只需训练一个模型，便可以在任何地方使用。
GPT3是为了解决GPT2的有效性而设计的。因此，它回到了GPT一开始考虑的few-shot学习的设置，即不再追求太过极致的性能表现，而是在有限的样本上提供有用的信息。
在GPT3的微调设置里，他是要求不做梯度更新的。
在MetaLearning中，模型不仅要学习如何解决特定的任务，还要学习如何快速适应新的任务。这样的训练方法有助于提高模型的泛化能力，使得模型在新的领域中表现更好。in-contextlearning是另一种训练模型的方法。它指的是在给定一个任务的上下文中，让模型从少量样本中学习如何解决这个任务。in-contextlearning只会对给定的任务产生影响，不会改变模型的权重。
主要是功能性描述介绍。
《Attentionisallyouneed》[J].Advancesinneuralinformationprocessingsystems,2017.《Improvinglanguageunderstandingbygenerativepre-training》[J].2018.《Languagemodelsareunsupervisedmultitasklearners》[J].OpenAIblog,2019.《Languagemodelsarefew-shotlearners》[J].Advancesinneuralinformationprocessingsystems,2020