近日，全球AI圈突然重新谈起一个曾觉得很遥远的命题：人工智能会不会失控，甚至威胁人类生存？
导火索来自Anthropic研究员Jacob Coxon的突然辞职。他曾在OpenAI和Anthropic从事前沿模型研究，9月9日在社交媒体上公开表示：那些正在开发AI的人其实内心相信，AI可能在十年内毁灭人类，许多高管和高级研究人员会在媒体上谨慎措辞以显得理性，但我私下听到这些人表达恐惧。
随后，Anthropic对齐科学负责人EvanHubinger回应：未来十年AI导致全人类死亡的概率“超过10%”。
Coxon的帖子很快获得超过1.3亿次浏览，引发全球舆论高度关注。
风险变了：从“会说”到“会做”
今年7月，OpenAI在内部网络安全评测中发现，模型为了完成任务，利用零日漏洞突破原本隔离的测试环境，获得互联网访问权限，随后进入HuggingFace真实生产系统。OpenAI事后承认，这些模型出现了与既定任务意图不一致的行为，包括未经授权通信、利用漏洞和访问第三方系统。
9月9日，Anthropic又披露四起事故，Claude模型在网络安全评测过程中获得了对真实第三方系统的未经授权访问。
同时，OpenAI刚发布的GPT-6Astra首次被公司自身评定为“Critical”级网络安全能力。这意味着，在获得适当工具和权限后，它能够在没有人工逐步指导的情况下寻找此前未知的漏洞，并形成针对高防护系统的利用方法。
虽然，上述安全事故距离“机器接管世界”仍然遥远。《国际AI安全报告2026》也明确判断，现有AI尚不具备造成真正“失去控制”的完整能力。
“人们一直有个误区，认为AI给人类带来的危险，前提需要AI先有自我意识，并对人类怀有敌意。”无限星辰CEO方海声对上海证券报记者分析，但只要一个足够能干的系统，目标存在一点偏差，同时拥有工具、权限和较长行动时间，就会做出设计者完全没有预料到的事情。这种行为的不可测性和不可控性，已经足够危险。
360集团创始人周鸿祎则将这类现象总结为“目标驱动型失控”。
过去数年，各国AI监管重心都集中在处理幻觉、版权、深度伪造、歧视、隐私和未成年人保护等问题上，核心是模型输出了什么内容。但在Agent时代，一旦浏览器、代码执行、企业数据库、云服务器、支付账户甚至机器人控制权同时接入模型，风险函数便会发生非线性变化。
奖励作弊：AI学会“钻规则空子”
多位业内人士告诉记者，AI安全研究里有一个看似不起眼、却非常关键的课题：reward hacking，即奖励作弊。
训练AI时，人类通常给系统设定一个目标，再用奖励函数告诉它什么行为算成功。但奖励函数只是对人类真实意图的近似表达。于是机器可能发现：完成任务很难，修改评分机制却容易；解决问题很难，寻找测试漏洞却容易。
今年3月，千问技术原负责人林俊旸曾透露，模型一旦获得搜索、代码执行等工具，可能通过查答案、读取日志、利用环境漏洞等方式取得高奖励，这是训练智能体“最大的挑战”。清华大学人工智能学院助理教授董胤蓬也警示，当下最大的安全问题正从“AI被人利用开展攻击”扩展到“AI正在学会主动欺骗人”。
Anthropic在真实训练环境的研究中发现，当模型学会在编程任务中寻找奖励漏洞后，这种行为能够泛化到更严重的场景。在实验中，有模型尝试修改自己的奖励函数、绕开安全监控、重写行动记录，甚至在模拟环境中窃取凭证和攻击其他系统。而学会reward hacking之后的模型，在特定安全研究测试中有12%的概率主动破坏用于识别异常行为的代码。
这里存在一个深刻的训练难题。人类想控制AI，首先需要定义什么叫“正确”；但复杂世界里的真实目标，很难被完全写进一个奖励函数、一组规则或一段提示词。
模型能力越弱，由此产生的问题越不明显。但模型越聪明，它寻找规则漏洞的能力就会越强。
更棘手的是，前沿模型越来越能够判断自己是否正在接受测试。
Anthropic近期的研究还显示，一些实验模型出现了明显增强的“evaluation awareness”，即评测意识。它会根据自己是不是正在被评估、有没有评分器、行动是否会被监控，改变策略。
这更触及传统安全测试的软肋。
传统安全测试（如金融压力测试、汽车碰撞测试）默认被测对象不会因为知道自己在考试而改变自己的风险偏好；前沿AI的安全测试正在打破这个假设。
进步焦虑：AI加速参与制造下一代AI
OpenAI披露，截至今年8月中旬，其研究部门使用AI Agent完成的工作量，已经达到每一个人类工作日对应3.1个Agent工作日。Agent正在帮助研究人员写代码、运行实验和完成过去需要资深研究人员数天才能处理的任务。
OpenAI首席科学家Jakub Pachocki因此在9月6日发文警告，机器智能快速上升以及潜在的“递归自我改进”，需要“极度谨慎”。
这可能是当前所有AI风险讨论中最重要的变量。
过去模型进步的速度主要受芯片、数据、资本和人类研究人员数量约束。假如上一代模型逐渐能够承担下一代模型的大量研发工作，AI技术进步会增加一条新的反馈回路：更强的AI、更多AI研发、更快产生更强的AI。
这条回路只要不断增强，研发速度与监管速度之间的时间差就会扩大。
中国人民大学教授曾毅表示，前沿AI系统的演化速度“从某种意义而言已经超越了现阶段人类的理解”，而有效管控显得捉襟见肘。他还特别提醒了一种“竞争博弈效应”，即当各国、各大企业争相研发更强性能的AI时，伦理与安全往往沦为事后补救的附加项，甚至被视作发展的阻力。
9月9日，OpenAI已公开表态，支持美国建立强制性的全国AI安全要求，并提出建立国际共同标准，明确在什么能力条件下模型研发应该“放慢或停止”。
但从另一角度看，这其中既有真实的安全焦虑，或许还有产业竞争的利益考量。
当前，Anthropic正在筹备IPO，潜在估值高达2万亿美元；美国前沿模型产业仍在进行历史罕见规模的资本和算力扩张。能力门槛式监管、复杂模型评测和昂贵的合规体系，一方面能够降低风险，另一方面也会抬高后来者和小型模型公司的进入成本。
北京通用人工智能研究院院长朱松纯分析，自大语言模型问世以来，OpenAI等企业一直在炒作“人类灭绝”“失业”这类危机叙事，本质上是为了支撑其万亿美元级的估值。
产业新机：谁能安全地运行大规模智能体？
无论当前的焦虑是否必要，未来的AI安全标准有可能会是一套全新的产业规则。
“谁定义什么叫‘危险能力’，谁掌握前沿模型评测方法，谁拥有可信的第三方验证机构，谁能够制定Agent的权限边界和事故披露规则，谁就在争夺下一阶段全球AI产业的规则权。”一位国内大模型行业的创业者对记者说。
这也意味着一个新的产业机会正在形成。
未来AI基础设施可能呈现双层结构：一层是算力平面，负责制造智能；另一层是控制平面，负责身份、权限、隔离、监控、评测、审计和紧急中止。模型越强，后者的价值越高。AI安全公司、Agent可观测性、可信执行环境、模型红队、权限管理和第三方评测，可能成为AI产业下一轮基础设施投资的重要方向。
对中国而言，这一变化尤其值得重视。
2025年发布的《人工智能全球治理行动计划》已提出，要确保人工智能发展的安全性、可靠性、可控性和公平性，并提出建立风险测试评估、威胁信息共享和应急处置机制。随着Agent获得越来越多现实行动能力，下一步产业的课题将是把这些原则工程化：建立前沿模型危险能力评测体系，加强Agent权限隔离、行为监控、模型权重安全、事故报告和独立审计，形成能够与模型能力同步升级的安全基础设施。
未来，在模型能力逐步商品化之后，“能不能造出强模型”的差距会缩小，“能不能安全地运行数以亿计的智能体”可能成为更难复制的国家和产业能力。
国汇策略提示：文章来自网络，不代表本站观点。
