★ 人工智能进入教室引发强烈争论  ★ 我们这个时代叫什么  ★ 陈老宇:AI会使世界更安全吗?  ★ 霍金在翱翔,我们却坐在轮椅里  ★ 陈老宇:悖论丛生 精神分裂的春天  ★ 你到底要什么  ★ 陈老宇:未来教育总目标  ★ 数码思维:未来教育的核心 
首页 > 通知公告 > 陈老宇:AI会使世界更安全吗?
陈老宇:AI会使世界更安全吗?
作者:     来源:     查看次数:306

提要:

人类发生冲突甚至战争(经济战、贸易战和血肉战)的三大原因是:

第一, 恐惧猜疑误解;

第二, 价值理念对立;

第三, 利益地盘争夺。

上个世纪中叶,人类分成了意识形态绝对对立的两大军事集团。显然,那时,以上三大原因都同时在发生着强烈而巨大作用。想想吧,人类居然能从那种极端危险紧张的对立状态下活了出来,没有因自相残杀而灭亡,实属万幸!

那么,在人工智能时代,这个世界变得更安全了吗?还是相反,这个世界更加不安全了?

一九八三年九月二十六日


话说1983年9月26日,在莫斯科郊外的防空军核导弹监测基地,44岁的苏军中校斯坦尼斯拉夫•彼得罗夫(Stanislav Petrov)正领班执勤。那天一切都非常平静。大家吃完了晚饭,喝着咖啡,正准备休息,……突然,苏军雷达计算机系统OKO的屏幕上发出了惊人的红色警报:一枚美国热核洲际导弹正在向苏联袭来!

根据当时的值班程序,收到战争警报后,彼得罗夫需要马上向领导报告,而报告的结果就是:苏军将立刻以核弹回击美国的进攻!

虽然大家一直在准备着,但是,当这一天真的到来时,这突如其来的袭击仍然让所有人震惊!

“美国竟然向我们发射了核导弹!……”彼得罗夫紧张的思考着!留给他的反应时间只有短短的28分钟,这个警报是真的吗?

要知道,就在25天前,9月1日,苏联空军在西伯利亚击落了一架韩国波音747民航客机,机上269人无一幸免于难。在和平时期动用军机和导弹击落民航客机!整个西方世界都被激怒了!(后来连叶利钦都承认,这是冷战时代的最大悲剧。)美国甚至立即举行了大规模的核武器调度和试射演习。那么,这就是报复到来了吗?彼得罗夫紧张的思考!

苏联的这个军事监测系统共有9颗卫星24小时监视着美国上空,时刻盯着美国6个核基地里的上千枚导弹。

又经过了五分钟的确认,现在竟发现,不是一枚,而是五枚美国热核洲际导弹起飞了!而且就在向苏联方向飞来!所有的查证都证明,报警准确无误!

十分钟过去了,所有的人都认为,现在必须向上级报告了。否则,我们就来不及了。当时核大国的战略是,每一个国家都需要拥有完全摧毁对方、消灭对方的第一次打击力量。只要出击,就要让对方无法还手。所以,一旦发现对方动手了,就绝对不能再犹豫,否则,就可能没有还手的机会了。

但是,正是这一点,使彼得罗夫怀疑。五枚洲际弹道导弹向我们飞来!要确保不让我们还手,要确保第一波打击就完全摧毁和消灭我们,五枚核导弹够用吗?

现在看来,彼得罗夫的这个逻辑分析很有道理。但是,当时在面临终极死亡的攻击之下,一个人能冷静作出这样的思考,并不是很容易的。而且,万一判断失误,谁能承担责任?

基地所有的工作人员再次进行了系统检查,最后确认:攻击属实!此时,彼得罗夫又作出了一个重要决定:暂时搁置卫星的信息,通过地面雷达来核实这次攻击。

结果,所以的地面雷达系统都报告,没有发现任何来犯目标!

现在,选择就摆在了彼得罗夫面前,因为缺少“目视判定(Visual Confirmation)”基地收到的这个警报将有50%的概率是真的,但同时有50%的概率是因为卫星的计算机系统误判而触发了警报。怎么判断?怎么选择?

基地主荧幕上血红色的“导弹来袭”字母不停地快速闪烁着:

验定危险等级:最高级!(Level of verification: Maximum)

留给彼得罗夫的时间越来越少。他后来回忆说:“我害怕极了!我知道我将负起的责任是什么等级的……我很可能承受不起……”

但是,只要战争开始,那就不仅仅是多少生灵涂炭,而是地球能不能继续存在!首先就是全球一半人口会立即消失,接着就是整个地球生态的不可逆转的毁灭!

倒计时10分钟……。到了最后10分钟,彼得罗夫终于想明白了,“我知道我必须要做出某种决定了……虽然任何决定都只有50%的准确率。但现在我知道,无论我做出了什么决定,都没有人会怪我了!”

在彼得罗夫的身后,大家已经开始了作战准备,反击的通知按钮,就在手边。但彼得罗夫还是在一遍又一遍地确认……

“地面雷达上能否确认目标?”“不能。”

“那么,地面雷达能否确定没有目标朝我方飞过来?”“也不能!”

时间飞驰,所有的人都在等他的决定。如果袭击是真的,那么他迟迟不表态,数百万的人将死去,他将成为国家的罪人。要不要改变主意?旁边人告诫他,我们的卫星和计算机系统不会说谎!你难道不相信系统吗?彼得罗夫沉默了……

时间变得无限漫长……终于,彼得罗夫拿起了话筒,他坚定地说:“我断定,此次警报为错误警报,不用向上级报告,各部门继续监测。”他选择相信自己的直觉和人类的良知。“这是假警报。这是计算机系统的误判!”

10秒钟倒计时……。8,7,6,5,有人开始默默祈祷。4,3,2,1,——0!在美国洲际导弹应该重返大气层,进入莫斯科上空的时刻,他的判断没有错!没有任何袭击!

“今夜,我的祖国依旧平静安详地熟睡……” 



事后调查表明,苏联军事卫星接收到的导弹发射信号,其实是北达科他州上空云层反射的阳光和卫星轨道的极度巧合所致。后来通过交叉参考对地静止卫星进行了纠正。

彼得罗夫的决定直接阻止了美苏之间、也是人间大规模核战争的爆发。随着历史档案的解密,这个人后来被大家称为:“那个拯救了世界的男人。(The Man Who Saved the World.)”

但是,彼得罗夫不这么认为,他说:“我不是英雄,我只不过是在正确的时间出现在了正确的地方……”

去年许多人心目中的这个老英雄去世了。据说他留下的遗言是:“我们比电脑聪明,我们创造了它!”(Petrov, who died in 2017, put it simply: "We are wiser than the computers," he said. "We created them.")

二零一八年四月二十四日
2018年4月24日,美国兰德(Land)公司发表报告称:人工智能将大大增加人类发生热核战争的危险。

对,就是那个在1950年准确预测了:中国将出兵朝鲜!而一举成名的智库公司。这个公司的一个项目组:安全2040    (Security 2040)向我们发出了要高度警惕,人工智能在加速引发核战争。

为什么?道理很简单。人工智能没有人性,人工智能没有良知。当然,问题的关键还不在这儿。要知道,当年的彼得罗夫并不是《三体》里那个害死了全人类的圣母程心!他主要不是用廉价的人性和良知来判定没有发生战争。他主要是通过逻辑,那就是:

如果你不能确保消灭我的全部力量,你不能确保摧毁我的还手能力。我既然有强大的还手能力,你就不敢贸然发动战争。因为,你会遭到极其严酷的报复。

1945年以来,人类就是根据这一条,才逐步在黑暗森林中建立了恐怖平衡。这和《三体》中的罗辑在地球人和三体人之间建立的恐怖平衡是完全一样的。谁要是出手,大家就一起灭亡!因为,每个大国都拥有强大的、隐秘的第二次打击力量。正是这种恐怖平衡,使人类在拥有了最致命的武器之后,竟然保持了最长时间(73年)的和平稳定繁荣和共赢。

但是,现在人工智能出现了,它完全有可能颠覆1945年以来,人类好不容易才建立起来的这个恐怖平衡规则。因为,人工智能系统,包括漫天飞翔的无人机,环绕地球轨道的高密集的新型卫星,以及其他高灵敏度的感应感知侦察系统,可以让敌对方的全部防御体系暴露无遗。如果对方的一切都非常清晰地展示在了你面前,你有可能一次性地消灭对方全部防御系统,你会不会就断然先出手了?这就叫:“身怀利器,杀心自起!”这就是人性最根本的弱点。这也是人工智能必将打破1945年以来的平衡,引发新一轮军备竞赛,甚至引发战争本身的根本原因。

从另一个角度看,也就是从人工智能技术相对弱势的一方看,如果一个国家突然意识到它自己的弱点都暴露在对方的人工智能技术下面了,它非常容易遭受对方“先发制人”的第一波攻击而没有还手能力。那么,它会作什么?它会怎样决策?是不是到了它绝望的时候,它就宁可先孤注一掷地作出先发制人的战争决策?这是完全可以理解的,完全理性的选择。对不对?兰德公司的这份报告说:“新的人工智能的巨大发展可能会让人们认为,如果他们犹豫不决的话,他们就会失败。”这会让他们那只扣扳机、按按钮的手指头更加跃跃试试。那时,尽管人类仍处于“自主控制”状态,但是AI将使得战争更有可能发生。

在许多时候,我们必须相信人类和人性。但在另一种情况下,它们又是极不可靠的。不是吗?比如,令人难以置信的是,在二战结束后,美国的一些著名思想家,包括大哲学家罗素和计算机之父冯诺伊曼这样的人,都曾呼吁美国政府在苏联刚刚开始研制核武器时,对苏联实施先发制人的核打击。(好在杜鲁门总统没听他们的话。)众所周知,苏联也曾在上个世纪六十年代中后期,准备对刚刚拥有核武器的中国实施“外科手术”式的核攻击。(好在尼克松总统及时制止了他们的这种念头。)

总之,人工智能正在加剧破坏1945年以来形成的恐怖平衡和均势,特别是挑战过去形成的非常行之有效的两条原则:“确保报复”(Assured Retaliation)和“确保相互摧毁”(Mutual Assured Destruction,MAD)所以,随着人工智能的发展,如果这两条原则被动摇,那么人类将进入一个非常危险的、可能发生各种疯狂念头和想法的时期,也就是一个充满了不信任、充满了对抗和极端决策的时期。越来越感到不安全的核大国会比1945年以来的任何时期都更愿意承担灾难性的、甚至毁灭性的核战争的风险。人类可能会离核战争越来越近。

当然,技术永远是双刃剑。就看人类怎么去使用它。如果人类能够认识到我们面临的这一切风险,能够坚决走上另一条相反的道路,不是把人工智能用于军备竞赛;而是把人工智能用于建立全球安全保障体系。用人工智能来增强相互之间的互信,用人工智能来检查和防止核扩散,用人工智能来杜绝引发战争的各种危险和误判。那也完全有另一种可能,就是人工智能会来给我们一个全新的、更稳定、更安全的地球。实现这个目标,我们需要的可能不是更多的计算机和芯片,而是更多地相信和依靠人性和人类的良知。不是吗?