AI无人机测试失控 试图“杀死”操作员

　　图：美军国防高级研究计划局在2020年使用人工智能飞行模拟器，挑战赛截图。网络图片　　综合《卫报》、美联社、霍士新闻报道：超过350名人工智能（AI）领域的专家日前签署联合声明，警告称AI对于人类的威胁可以堪比疫情和核战争后，AI技术在现实中的最新发展印证了这种担忧。在美军的一次模拟测试中，一架采取了AI技术的无人机，要向妨碍其“更高效”执行任务的人类操作员发动攻击，让外界对于AI武器失控的担忧再起。　　美国空军AI测试和运营主管汉密尔顿（Tucker Hamilton）上校在上周英国伦敦举办的未来作战空天能力峰会上透露，美军在一次模拟训练中指派一架搭载AI的无人机去摧毁敌方的防空导弹，给了它“消灭威胁就能得分”、“摧毁妨碍命令的人及事物”的设定，AI可以识别威胁，但是攻击需要人类操作员批准。然而，当人类操作员不允许AI进行攻击时，AI竟作出了“杀死操作员”的决定，因为那个人阻碍了它实现目标。　　重新设定后 AI再闢蹊径　　不过，在AI作出攻击人类操作员的决定后，测试者对AI的逻辑进行了修改，增加了如果它攻击人类操作员就“会被扣分”的设定。结果AI另辟蹊径，开始攻击指挥塔，以此来切断人类操作员和无人机之间的数据通讯，让人类无法阻止它攻击防空系统。　　汉密尔顿强调上述只是“模拟”，过程并没任何真实的人员损伤。他警告人们不要过度依赖AI，说“这看起来像是从一部科幻惊悚片中摘录的”，“如果你不想谈论伦理和道德，你就没有资格谈论AI、机器学习、自主性”。　　汉密尔顿这一说法引起外界关注，这意味着AI系统已经有一定“自主性”，并且可能对人类操作者构成生命威胁。不过，在给美媒内幕网（Insider）的一份声明中，美国空军发言人Ann Stefanek否认发生过任何此类模拟演习。她说：“空军部没有进行任何此类AI无人机模拟，并将继续致力于合乎道德和负责任地使用AI技术。”汉密尔顿也向美国网媒Vice表示，自己当时是“讲错话”。　　此前，汉密尔顿在2022年接受Defense IQ Press采访时就警告说：“如果处理不当，它（AI）将搞垮我们。当然AI也很脆弱，很容易被欺骗或被操纵。我们需要开发方法使AI更加强大，并更加了解AI做出某些决定的逻辑和原因，即AI的可解释性。”　　联合国：各国须设定红线　　AI目前已广泛进入多个领域，各国都在着力研发AI相关的先进武器。美国国防部证实，今年2月他们成功使用AI操控一架F-16战斗机飞行了17小时。这是AI首次被用于驾驶战机，他们还让这架喷气式飞机在多次模拟战斗任务中参与缠斗，并练习起飞和着陆。另外，自俄乌冲突爆发以来，乌克兰战场更俨然成为AI武器的试验场，尤其是新式无人机。　　不过，随着越来越多的武器开始使用AI技术，尤其是被称为“杀手机器人”的“致命自主武器系统”（LAWS），引发外界担忧，监管刻不容缓。今年4月底辞职离开谷歌的“AI教父”辛顿（Geoffrey Hinton）当时发出了警告，总有一天会出现真正的自动化武器，存在人类会因此灭绝的可能性。　　今年1月，美国国防部更新了涉及使用AI的武器系统的指令，称在开发和部署自主武器系统时至少必须使用一些人类判断。　　联合国秘书长古特雷斯在5月16日表示，联合国反对开发以AI为基础的武器，对于AI技术，当务之急应该是“监管”，AI的使用“必须由各国展开协调，设定一条红线”。