渐进：OpenAI在2020年的一篇论文中指出，在到达极限前，随着模型参数、数据量、以及算力的指数级提高，模型能力虽然也会指数级提高，但是提高的速度很慢，如下图所示：
其中横轴是算力、数据量、参数量，纵轴体现了模型的性能（越小越好）。
也就是说，算力量达到一定程度后，大模型会突然学会一些能力，这个过程就叫做涌现。研究人员总结了不同大模型涌现出的各种能力，包括加减运算、chain-of-thought等等。可以看出，越是复杂的能力，涌现所需要的算力越多（当然也跟训练的方法有关）。
其中，chain-of-thought能力如下图所示：
由此，我们可以得出第一个结论：大模型的算力、参数量、数据量还会继续增加，目前还远远没有看到顶点。
算力、参数量和数据量的关系
当参数量和数据量增加时，所需求的算力量毫无疑问也在增加。过去，无论是参数量还是算力量都经历了非常快速的指数级提升：
算力的指数级提升
参数量的指数级提升
但是，2022年DeepMind的一篇论文发现，当算力一定时，模型参数量并不是越大越好，而是有一个最优解。图中左一的每一条线上的不同点都代表了同样的算力，可以看出当参数量达到一定数量时，大模型的性能达到最高（图中的最低点）。
由此，我们可以得到第二个结论：大模型的性能取决于其训练用的算力多少，调整参数量只能挖掘出当前算力水平下的最高潜力。
因此，当评价一个大模型时，算力量而非参数量才是更好的指标。
另外，根据论文中的对比结果可看出，在GPT-3当前的参数量级下，GPT-3并没有达到最优化的性能。因此，我们推测GPT-4的参数量会比GPT-3更大，但不会像GPT-2到GPT-3那样有100倍的提升，而是更多地增加训练用的数据量，从而提高整体的算力用量，达到最优化的状态。
投资机会
AI行业TAM
AI行业的TAM毫无疑问是十分巨大的，但是怎么计算却各有说法。我们按照AI对人类工作效率的提升幅度来粗略计算了一下：
2022年，美国就业人数160m，人均年薪5万美金，假设有30%的人可以借助ChatGPT把效率提高10%（只考虑目前的chaGPT技术），并且这些人的年薪为8万美金，那么提高的价值就有3840亿，即使AI收费只有这些价值的10%，在美国的TAM也有380亿，全世界可能有800亿美元左右。
如果GPT继续进步，在25-30年做到帮60%的人把效率提高30%，平均年薪7万美金，收费保持在10%，那么美国的TAM就有2000亿，全世界就是4000亿。
短期：
2021年底office236m订阅人数（Windows14亿月活），年费136美元，假设渗透office的50%，将GPT集成到各类办公软件中后，订阅费增加每年100美元（目前charGPTpro是240美元），对应收入12b，相当于22年微软收入（198b）的6%
长期：
训练(Training)
AI大模型对算力的需求主要在两个方面：训练和推理。训练对应的是研发成本，推理对应的是运营成本。
具体来看，DeepMind在19年就亏损了约5亿英镑，OpenAI在22年也亏损了5亿美元。因此每年的算力花费应该就是3-4亿美元的量级。考虑到有能力并且有野心做基础大模型的公司并不多，我们假设22年有4家OpenAI级别的公司，23年及以后有6家。每家算力量的需求以200%的增速增长，而算力的需求则以~40%的速度下降。由此可以算出AI训练所需要的资金成本，然后就可以根据云计算公司的商业模型转换到对硬件的需求，进而算出对NVDA、TSM等公司的影响。
根据计算结果可见，训练给NVDA带来的收入贡献只有2-3%，对TSM的贡献不到1%，可以说并没有决定性的影响。
推理(Inference)
当AI大模型大规模应用的时候，推理成本就会大幅增加，并且会随着AI推广而快速提高。我们考虑了搜索、聊天、office等AI应用，对推理带来的机会做了粗略的测算。
其中，我们假设微软新必应搜索的渗透率提高到26年的20%，并且AI推理成本在23年快速下降（首次商业化应用，成本的下降空间很大）。尽管OpenAI已经宣布将ChatGPT的定价减小了10倍，我们并不认为这是已经实现的结果，而是快速占领市场的低价策略。
我们预计未来几年AI推理对微软的贡献能达到23%，对NVDA的贡献有7%，而对TSM的贡献只有3%。也就是说，受益于OpenAI最多的是下游应用（微软），其次是GPU等硬件（NVDA），最后才是TSM这种晶圆厂，这也符合半导体行业上游少，下游多的特点。
附录
NVDAGPU进步速度
H100和A100的性能对比：
这里是GPU本身性能的进步，考虑到系统级的优化（NVLink、HBM等等），算力单价的下降幅度会更多。
SamAltman称，一个全新的摩尔定律可能很快就会出现，即宇宙中的智能数量每18个月翻一番。
技术路线
框架上：GOOG的tensorflow使用率越来越低（4%），目前主流是Pytorch（62%）。
总结
GPT4的模型参数量不会像之前一样提升几百倍，但是训练数据量可能会增加很多；加上算法优化，总体算力的需求预计提高10倍左右；
大模型的能力预计还是会继续提高，可能会有新的能力涌现出来，带来更广泛的应用场景，不过这个问题没法提前研究；
AI对下游的影响最大，到26年对微软的收入贡献增量可能会达到20+%
NVDA：近两年的影响不大，到26年主要由traning阶段贡献2-3%的收入，inference贡献增量7%的收入；
TSM：近期影响不大，到26年也只贡献增量~4%的收入，主要影响的是对HPC的需求和节奏。