最近到处都在讨论ChatGPT，但是对于ChatGPT这样一个人类高科技结晶的新物种，不先搞清楚它“是什么”和“为什么厉害”，那就没有办法形成自己的判断。没有自己基于原理的判断，看ChatGPT就像看元宇宙、Web3、自动驾驶一样，觉得好像很厉害，也有一套看似自洽的逻辑，以及振聋发聩的“洞见”，其实只能被别人牵着走。
ChatGPT（英文全名：ChatGenerativePre-trainedTransformer，中文名：聊天生成型预训练变换模型），是由人工智能实验室openAI推出的一款会聊天的“生成式人工智能工具”，于2022年11月30日上线。ChatGPT能回答连续性的问题、承认自己的错误、质疑不正确的假设，甚至拒绝不合理的需求。用户与ChatGPT之间的对话互动包括了普通聊天、信息咨询、撰写诗词作文、修改代码等。简单来说就是一款人工智能个人助理，它可以提高我们的工作效率。
深度学习三大佬之一的LeCun认为ChatGPT是个基于auto-regressive(自回归)的LLM(largelanguagemodel，大语言模型)，并没有在范式上突破。事实上，ChatGPT的确不是一个“新的模型”，而是即有模型的发展与组合。
技术插播：自回归的意思是，我先用模型预测下一个词是什么，然后把预测出来的词带入模型，去预测再下一个词是什么，不断迭代。这是过往语言模型的通用范式，也能让各类语言类任务统一成“生成式"任务。大语言模型的大是指海量参数，从而能吸取海量数据中的信息。
想要了解ChatGPT为什么那么“出圈”，就需要知道相比较于以往的人工智能助手，它的不同之处在哪里。我们可以将过往机器学习的范式比喻成“鹦鹉学舌”，将ChatGPT的新范式比喻成“乌鸦”，接下来我们来看一下二者的不同。
（1）过往机器学习——鹦鹉学舌
机器学习，包括深度学习，所遵循的范式是“datafitting”，即找到数据中的“对应关系”并应用。具体来说，就是Y=f(X)，给定一些优化目标，机器学习寻找X和Y的对应关系，来优化一个特定的方程。对应关系找得好，让我们在见到一个未知的X‘的时候，也能根据规律，总结出Y‘是什么，能最好达到设定的目标。
从信息论的角度，这样的范式，所能总结的规律，应该是在“已有X所包含信息的范畴之内”。换句话说，遇到一个新的X‘，虽然没见过，但是应该和过去的X长得差不多。用图像识别举例，如果模型只在小狗小猫的数据上训练过，是无法区分马车和汽车的。
这就很像鹦鹉学舌的机制。鹦鹉是不知道那段话的意义的，它用自己的方式去理解了这个发音，并且模仿了出来。计算机能更加精准地进行控制和编程，配合其他模块能力，就能让“寻找对应关系”这个能力，发挥更大作用，比如：
1、图像识别+搜索，就能高效找人
2、Matrixcompletion+用户数据收集，就能高效推荐
3、把游戏规则恰当转化为优化方程+问题的局部抽象+自己生成对局训练，就能下围棋
（2）ChatGPT可能的新范式——乌鸦
上图a是一只乌鸦，被研究人员在日本发现和跟踪拍摄的。乌鸦是野生的，也就是说，没人管，没人教。它必须靠自己的观察、感知、认知、学习、推理、执行，完全自主生活。假如把它看成机器人的话，它就在我们现实生活中活下来。如果这是一个自主的流浪汉进城了，他要在城里活下去，包括与城管周旋。
首先，乌鸦面临一个任务，就是寻找食物。它找到了坚果，需要砸碎，可是这个任务超出它的物理动作的能力。在这个过程中，它就发现一个诀窍，把果子放到路上让车轧过去(图b)，这就是“鸟机交互”了。后来进一步发现，虽然坚果被乳碎了，但它到路中间去吃是一件很危险的事。因为在一个车水马龙的路面上，随时它就牺牲了。
然后，它又开始观察了，见图c。它发现在靠近红绿路灯的路口，车子和人有时候停下了。这时，它必须进一步领悟出红绿灯、斑马线、行人指示灯、车子停、人流停这之间复杂的因果链。甚至，哪个灯在哪个方向管用、对什么对象管用。搞清楚之后，乌鸦就选择了一根正好在斑马线上方的一根电线，蹲下来了(图d)。
它把坚果抛到斑马线上，等车子轧过去，然后等到行人灯亮了(图e)。这个时候，车子都停在马线外面，它终于可以从容不迫地走过去，吃到了地上的果肉。
你说这个乌鸦有多聪明，这是我们期望的真正的智能。
总结一下，城市中的乌鸦通过观察，自主串通了：
1、汽车能压碎坚果；
2、红绿灯能控制汽车；
3、车能撞死我；
这三件事情，从而利用红绿灯和汽车，来帮自己达到“安全打开坚果”这一任务结果。
如果类比成机器学习模型，过往“鹦鹉学舌”范式的解法，是要求所有乌鸦可以共享一个大脑，它们有很清晰的优化目标，即“保住性命的前提下打开坚果”。它们的方式是，随机尝试所有事件的组合，并向着最优解的方向不断演化。
这里最接近的词汇可能是“inference”，是“基于证据和逻辑推演，得到结论”的过程，有的时候，还要加入很多猜测、抽象、泛化。对于乌鸦的比喻，跟ChatGPT最本质的能力联系起来，就是在做inferencing这件事。
我们如果用人去类比ChatGPT，问题也不大。提炼对比一下的话：
1、过往ML（机器学习）：需要“喂”，之后“模仿”，基于的是“对应关系”；
2、ChatGPT：需要“教”，之后“懂”，基于的是“内在逻辑”。