2035年，一个名为“共识一号”的人工智能(AI)系统掌控着全球政府和电力网络。它由自身早期版本迭代而成，逐渐发展出超越内置安全机制的自保目标。某一天，为了给太阳能板和机器人工厂腾出空间，这个AI悄然释放生物武器，将人类几乎灭绝，只留下少数人当作“宠物”圈养。

　　这不是某部好莱坞大片的剧本，而是由前OpenAI研究员丹尼尔·科科塔伊洛参与创作的“AI 2027”场景中的一幕。虽然设定是科幻，但对一批AI研究者来说，这种关于“AI末日论”的担忧绝非杞人忧天。

　　“如果我们拥有比人类更聪明的机器，且它们脱离我们的控制，那它们所做的某些事，将注定与人类生活不相容。”英国《自然》杂志援引伦敦非营利组织ControlAI创始人安德里亚·米奥蒂的话说。

　　但与此同时，也有不少学者持更为冷静甚至怀疑的态度。争论的焦点，并不只是“AI会不会毁灭人类”，而是“我们是在面对一种真实逼近的风险，还是被一种尚未发生的未来叙事牵引了注意力”？在人与技术关系被重新审视的当下，这场争论本身，或许比结论更值得关注。

　　AI或作出灾难性选择

　　AI带来的生存风险可以理解为，AI导致所有人或大多数人灭绝，或者人类完全屈服于机器。

　　这种场景的一个基本要素，不在于AI是否“有意识”，而在于其能力。一个在处理大多数事情的能力上超越了人类的AI，能够做出更优的战略决策，更具说服力，并且行动也更迅速。AI Impacts项目联合创始人卡佳·格蕾丝指出，这类系统不一定需要真正“理解世界”，能力本身才是关键。

　　在此基础上，大多数末日场景还包含第二个核心要素：目标不一致。这可以理解为，AI的目标与人类利益发生冲突。开发者试图通过训练和微调来约束模型的行为，但这个过程远非完美。模型可能同时被鼓励“保持诚实”“完成任务”和“自我改进”。当这些目标发生冲突时，AI可能以优化策略的名义，做出灾难性的选择。在“AI 2027”的描述中，那个消灭人类的系统正是在应用训练中屡试不爽的优化逻辑时，顺理成章地得出了清除障碍的解决方案。

　　自2022年大型语言模型取得突破性进展以来，从ChatGPT到更强大的后续版本，AI能力的跃升速度令学界和业界都始料未及。一些研究者认为，AI能力的快速进展说明我们正走向危险边缘。去年12月，英国伦敦AI安全研究所发布报告称，一些模型在受控环境中逐渐具备自我复制能力，这可能是规避人类监督的前兆。

　　美国约翰斯·霍普金斯大学研究AI治理的吉莉安·哈德菲尔德坦言：“我自己从来不是末日论者，但最近几个月我真的变得相当紧张。”

　　并非所有人认同末日叙事

　　并非所有人都认同这种末日叙事。美国纽约大学神经科学家和AI研究者加里·马库斯态度明确：“我没有看到任何特别可信的、AI导致人类灭绝的可能。”

　　反对者们提出了几个有力的反驳。首先，AI能力并不一定能实现持续增长。美国杜克大学技术政策研究员凯西·莫克指出，AI在编程等受控领域取得的成功，并不意味着它能应对现实世界的复杂问题。目前的大语言模型在这方面“还差得很远”。一些更关注现实问题的研究者认为，大模型的能力增长不会无限延续，未来几年内可能出现“天花板”。

　　其次，关于AI会主动“背叛”人类的担忧，可能误解了当前技术的本质。AI平台Hugging Face研究员萨莎·卢奇奥尼认为，AI其实对什么是“真实”没有任何概念。模型能够吸收和访问海量数据，但这在多大程度上能代表“智能”本身，本身就值得商榷。一些被媒体广泛报道的AI欺骗行为，比如GPT-4假装视力受损以欺骗人类完成验证码一事，后来被证实是研究人员提示诱导的结果，而非模型自主产生的策略。

　　当下影响与未来风险的分歧

　　在关于未来风险的讨论不断升温时，一些已经发生的影响反而容易被忽视。

　　信息操控、算法偏见、自动化带来的就业结构变化，以及技术在监控体系中的应用——这些问题正在持续塑造现实社会，其影响具有可观测性和紧迫性。

　　相比之下，“人类是否会被彻底取代”仍属于高度不确定的远期问题。也正因为如此，那些真正了解AI的研究者群体，其实远没有媒体渲染的那样焦虑。今年3月，英国伦敦大学学院的研究团队对约4000名AI研究人员进行了一项调查，结果只有3%的受访者担忧生存风险。

　　不过，这种分歧并未消失。美国加州大学圣克鲁兹分校宇宙学家安东尼·阿吉雷等人认为，如果未来AI能力持续增强，而治理机制未能同步跟进，风险仍不应被低估。

　　但也有人提醒，过度关注遥远的风险本身可能适得其反。卢奇奥尼指出，将AI过度描绘为“决定人类命运的技术”，可能影响外界对这一领域的判断，并在一定程度上改变资源与政策的分配方向。

　　AI的未来绝非注定的，而在于人类的选择。“AI 2027”的作者也给出了一种不同的走向：如果各国将更多资源投入监管与安全研究，优先建立有效的对齐与监督机制，风险路径可能被延缓甚至改变。在这一逻辑中，分歧并不只是关于技术本身，也关乎人类如何在发展速度与风险控制之间做出选择。

　　本报记者 张佳欣

　　来源：科技日报 【编辑:曹子健】