但是，在AI发展一片欣欣向荣的景象中，传奇物理学家斯蒂芬霍金却对未来AI和人类的关系充满了担忧。他认为AI可能是人类文明历史中最糟糕的发明，担心AI终将取代人类。他曾多次公开表示：“彻底开发人工智能可能导致人类灭亡”。
不仅是霍金，处于风口浪尖的“钢铁侠”设计者埃隆马斯克以及微软创始人比尔盖茨，也都警告过要注意AI的“危害”。MIT的教授以及几名来自美国三大互联网巨头谷歌、IBM和微软的企业员工等，也曾联名写过公开信，表达AI未来会影响人类安全问题和社会福利问题的忧虑。
2关键的“技术奇点”
按照霍金的说法，AI在初级发展阶段的确可以为人类生活带来极大的便利，但是，机器将可能以不断加快的速度重新设计自己，“如果人类能够写出计算机病毒，那么也能够设计出能够自我复制的AI”，而人类则受制于生物进化速度，在智能的演进速度上根本无法与之竞争，使得人类最终被AI超越。科学界将这种AI全面超越人类智慧的转折点称之为“技术奇点”。
具体的“技术奇点”含义是指，当广义上的AI拥有了“自我进化”的能力或者当“机器能生产更加聪明的机器”这种情况得以实现，因为技术进化的速度会远远高于生物进化的速度，所以在AI和人类智慧的比较上将会产生滚雪球的效应，AI会不断进步并且发展得越来越快，并最终迅速超越所有人类智能的总和。超越这个“技术奇点”以后，AI会迅速超过人类可以控制甚至理解的范畴，当机器运行的原理不为人类所掌握，人类也就无法控制机器的运行，因此在突破了奇点之后，人类的命运也就将不会完全掌握在自己的手中。
3AI终结人类的必要条件
但是，当AI已经全面超过了人类智慧之后，就一定代表AI会采取措施终结人类的生存吗？这个问题值得我们好好思考，因为人类对于强于自己甚至是有可能强于自己的事物怀有深深的担忧和敌意，当然这也是人类的自我防卫机制的本能反应，不过这种主观的本能反应，会深刻地影响我们对于形势的判断。
从逻辑上说，要独立解决任何一个问题，需要有两个必要条件，即解决问题的能力和解决问题的动机，前者为个体所具有的“能力”，而后者可称为个体的“意识”。因此，对于“AI会不会成为人类终结者？”这个问题，我们把其拆成两个主要部分：第一，AI能不能具备终结人类的能力？第二，AI会不会有终结人类的意愿？
根据目前AI的发展情况，从解决问题的能力的角度来看，AI的智能全面超越人类智慧是大概率事件。目前在人类日常生活中能遇到的所有问题中，有80%以上的问题我们已经能够通过设计出超过人类智慧的AI来更高效地解决。二十年前的两次世界象棋“人机大战”与2015年AlphaGo连续战胜多位围棋九段高手的对比，便是AI在能力上快速扩张和快速超越人类的典型案例之一。
更进一步，就算AI具有了可以自我控制的意识，我们并不能断定AI就会有终结人类的意愿。首先从能力上，人类并不会威胁到AI的生存，因为人类智慧根本不可能和已经具有自我意识的AI抗衡，也就不会对AI造成实质性的威胁从而形成敌对关系；其次在生存环境上，AI以机器为载体，上可翱翔太空下可潜入水底，而人类还需要呼吸氧气，也就不会和AI存在利益冲突。因此AI和人类之间，并没有一定会发生矛盾甚至战争的诱导因素，AI也就没有终结人类的意义。
4未知的未来
通过上面的分析，AI直接发动战争灭绝人类的可能性非常小，但是在未来社会，AI却也许会用别的方式毁灭人类而无需产生自我意识。最典型的，就是AI会深刻地改变人们的工作和生活方式，引起人类社会的混乱和矛盾，从而借人类自己的手将人类自己毁灭。
目前这种AI威胁论甚嚣尘上，很多著名学者都预测人类的很多职业都将被AI所取代，造成大量工人的失业，从而使得社会面临动荡和冲突的危险。这就需要未来人类在面对这种生活巨变的时候，能够正视变革、摆好心态，找准自己的位置，各展其才，各尽其用，在这变革的洪流中挖掘自身更大的力量和价值。
参考文献
作者：师帅康橘子科普团队上海交通大学机械与动力工程学院，机械系统与振动国家重点实验室