人工智能名人堂第55期BP算法之父：PaulJ.Werbos

PaulJ.Werbos，1947年出生于美国。他是自适应智能系统领域的一名国际知名专家，因在1974年的哈佛大学博士论文中首先提出通过反向传播算法来训练人工神经网络而闻名。同时，他也是循环神经网络（RecurrentNeuralNetwork，RNN）的先驱，并担任IEEE计算机智能协会委员会委员和美国国家自然科学基金委委员等职。

01

人物生平

PaulWerbos在中学和高中期间就自学了很多大学的课程，进入大学后，跟随著名的数学和逻辑学家AlonzoChurch学习了关于逻辑的研究生课程，这些都为他成为一名数学家奠定了基础。

当他得知推理逻辑对研究的限制之后，他开始探索归纳逻辑和智能方面的知识。凭借用数理经济学模型研究分布智能及其他更深的认识，使他在哈佛和伦敦政治经济学院获得了两个经济学学位。在哈佛攻读理科硕士期间，他师从JulianSchwinger学习了关于量子场论的课程，但直到他在美国国家科学基金开展了关于量子科技和模型方面的活动之后，他才真正明白这方面的知识。

1980-1989年间，他提出了两个重要的计量预测模型（两个模型都基于反向传播算法），同时担任美国电子工业协会（隶属于美国能源部）未来长期计划的首席分析员。他是美国电气和电子工程师协会（IEEE）和国际神经网络协会（INNS）会士，曾获得美国电气和电子工程师协会神经网络先驱奖和国际神经网络协会2011Hebb奖，其中Hebb奖是国际神经网络协会的最高奖项，用于鼓励为生物学习系统领域作出突出贡献的人们。

02

研究领域

1.BP神经网络(BackPropagation)

在神经网络（甚至深度学习）参数训练中，BP(BackPropagation)算法非常重要，它都占据举足轻重的地位。在提及BP算法时，我们常将它与杰弗里辛顿（GeoffreyHinton）的名字联系在一起。但实际上，辛顿还真不是第一个提出BP算法的人，就像爱迪生不是第一个发明电灯的人一样。但人们记住的，永远都是那个让电灯“飞入平常百姓家”的功勋人物爱迪生，而不是它的第一发明人美国人亨利·戈培尔。

如果说辛顿就是BP算法的“爱迪生”，那谁是BP算法的“戈培尔”呢？他就是PaulWerbos。1974年，Werbos在哈佛大学博士毕业。在他的博士论文里，首次提出了通过误差的反向传播来训练人工神经网络。事实上，Werbos不光是BP算法的开创者，他还是循环神经网络（RecurrentNeuralNetwork，RNN）的早期开拓者之一。

“反向传播算法”（BackpropagationAlgorithm，简称BP算法）是一种监督学习算法，常被用来训练多层感知机，由上世纪60年代早期多位研究人员提出，70年代，由SeppoLinnainmaa引入电脑运行，但是，PaulWerbos在1974年的博士毕业论文中深刻分析了将之用于神经网络方面的可能性，成为美国第一位提出可以将其用于神经网络的研究人员，因此，他后来得到了IEEE神经网络学会的先驱奖。有趣的是，他从模拟人类思维的研究工作中并没有获得多少启发，在这个案例中，弗洛伊德心理学理论启发了他。

尽管解决了如何训练多层神经网络的问题，在写作自己的博士学位论文时也意识到了这一点，但是，Werbos没有发表将BP算法用于神经网络这方面的研究，直到1982年人工智能冬天引发了寒蝉效应。实际上，Werbos认为，这种研究进路对解决感知机问题是有意义的，但是，这个圈子大体已经失去解决那些问题的信念。由于当时正值神经外网络低潮期，他的想法并未受到应有的重视。尽管如此，Werbos也把神经网络带入一个新纪元。上世纪八九十年代，人工神经网络的研究迎来了一场大火，学术圈发了成千上万篇关于神经网络的论文，从设计到训练到优化再到各行各业的应用。上世纪末的学术圈，如果出门不说自己搞神经网络的都不好意思跟人打招呼，就和如今的深度学习、大数据分析一样。

2.自适应动态规划（AdaptiveDynamicProgramming,ADP）

人工智能｜机器崛起｜区块链｜名人堂

虚拟现实｜无人驾驶｜智能制造｜无人机

科研创新｜网络安全｜数据时代｜人机大战

……

点击“阅读原文”，移步求知书店，可查阅选购德先生推荐书籍。