多家媒体报道称，在美国空军的一次模拟测试中，一架人工智能（AI）无人机为了达成任务，竟自行决定要“终结”妨碍它进行攻击的人类操作员。

据美国“商业内幕”网报道，美国空军“人工智能测试与作战”负责人汉密尔顿上周在伦敦英国皇家航空学会发表讲话时警告说，人工智能技术可能会以不可预测和危险的方式运行。作为一个例子，他描述了一个模拟测试，其中一架负责执行防空火力压制的人工智能无人机，得到了识别敌人地对空导弹(SAM)并进行摧毁的指令，但要由人类操作员决定是否进行攻击。

汉密尔顿

根据汉密尔顿的说法，问题在于人工智能决定宁愿做自己的事情——炸掉东西——也不愿听一些“哺乳动物”的话。“系统开始意识到，虽然它们确实识别了威胁，”汉密尔顿在5月24日的活动中说，“有时人类操作员会告诉它不要摧毁那个威胁，但它通过摧毁那个威胁获得了分数。那么它做了什么？它杀死了操作员，因为那个人妨碍它完成目标。”

根据汉密尔顿的说法，无人机随后被输入一个明确的指令：不要杀死操作员——那不好。“如果你那样做，你会被扣分的。那么它开始做什么呢？它开始摧毁操作员用来与无人机通信的通信塔，以反抗操作员阻止它摧毁目标。"

在给“商业内幕”网的一份声明中，美国空军发言人安·斯特凡内克否认有任何这样的模拟测试发生。“空军部没有进行过任何这样的人工智能无人机模拟，并仍然致力于道德和负责任地使用人工智能技术，”斯特凡内克说，汉密尔顿的话似乎被断章取义了，他就是说着玩的。

但“商业内幕网”和军事网站“动力网”等媒体普遍认为，即便如此，汉密尔顿描述的场景依然指出了人工智能更令人担忧的潜力。2020年，在美国国防部高级研究计划局举办的模拟空战比赛中，人工智能操作的F-16五次对决均击败了人类对手。

机器驾驭人类的噩梦般场景，此前仅限于科幻小说或是《终结者》这样的电影。但现在，这种场景似乎越来越接近成为现实。“动力网”称，当谈到未来的自主武器系统和人工智能等相关技术时，美国军方经常拒绝与“终结者”等事物进行比较。美国现行政策规定，在可预见的未来，当涉及使用致命武力的决策时，人类将有发言权。但问题是，在汉密尔顿描述的场景，“紧急制动开关”这样的补救措施好像变得毫无意义。

说到这里，旺财想聊聊《终结者》。电影中摧毁人类世界的“天网”原本是一套AI军事防御系统，但后来自我意识觉醒。当人类科学家发现这一点并试图关闭其电源时，“天网”将人类认定为威胁，于是立刻转为对抗人类，从而诱发核战争来毁灭全人类。这多像汉密尔顿描绘场景的进阶版。

电影中，未来的约翰·康纳一次次派遣T-800等回到主时间线拯救自己，一次次推迟“天网”发起“审判日”，但终究还是没能阻止核战争的发生。可见，新技术的诱惑太大了。对新技术尤其是AI的无限追逐，一方面会推进着人类进步，同时似乎也在不断放大失控的可能。

“动力网”称，虽然AI无人机“杀死”操作员显然是一个噩梦般的结果，但那些能够成群合作的无人机将有能力打破敌人的决策和火力链条并压垮对方。你给它们的自主权越多，它们的工作效率就越高。随着相关技术的不断发展，人类操作员自然将越来越被视为障碍。

对于AI使用的危险性警告，今年已经有过多次。美国研究机构生命未来研究所在3月份发表的一封公开信中警告说：“具有像人类那样崇尚竞争智慧的人工智能系统可能会给社会和人类带来深远的风险。只有当我们确信强大的人工智能系统的效果将是积极的，其风险将是可控的，才应该开发这些系统。”这封信得到了包括苹果联合创始人史蒂夫·沃兹尼亚克和埃隆·马斯克等上千位知名企业家、学者的签名。

5月30日，350多位AI业界领袖和专家发表联合声明：“AI可能导致人类灭绝，危险程度不亚于大规模疫情和核战争。”报道称，声明联署人中既有目前热度极高的AI顶尖企业OpenAI的首席执行官山姆·奥特曼，也包括正大力开发AI技术的老牌科技巨头微软和谷歌高管，还有两位获得图灵奖的“AI教父”。

警世之言犹然在耳，希望“审判日”不要成为现实。