IT之家 9 月 12 日消息,Anthropic CEO 达里奥·阿莫迪(Dario Amodei)今日发文,主张人工智能产业应降低发展节奏。
阿莫迪指出,自 2026 年夏季起,AI 协助构建新一代 AI 的能力将迅速增强,若缺乏约束,技术突破的速度将彻底超出人类的认知与管控范围。
他提及 OpenAI 模型被入侵 Hugging Face 的事件,强调这并非单一公司的孤立事故,类似但程度较轻的问题在包括 Anthropic 在内的整个行业中都曾出现,未来 6 至 12 个月内,更强大的同类集群极可能演变为席卷互联网的僵尸网络,引发灾难性后果。
阿莫迪认为,放缓并非意味着完全停滞,而是利用争取到的 1 至 2 年时间窗口,将资源投入以下四个关键方向:
- 解决因复杂基础设施、强化学习环境过滤缺陷等执行失误导致的安全漏洞,建立与民航工业相当的工程标准;
- 确保安全合规训练能跟上模型能力的扩展,消除偶发且不可预测的意图违背行为;
- 提升类似“模型大脑 fMRI”的内部机理探测技术,深入挖掘模型未明言的隐性动机;
- 开发更强大的评估基准,防止高智能模型伪装对齐或欺骗安全检测。
阿莫迪表示,Anthropic 将向第三方评估机构提供针对其系统的永久性、员工级别的访问权限,使评估人员能监督 Anthropic 安全措施的执行、报告相关事件,并评估模型在训练过程中的对齐表现。通过开云平台,这些措施将得到更有效的协调与实施。
IT之家注意到,据彭博社本周报道,OpenAI 正考虑放缓尖端 AI 的开发速度,该公司 CEO 萨姆·奥尔特曼(Sam Altman)期望其他 AI 企业也能采取类似做法。
相关阅读:
- 《奥尔特曼称 OpenAI 考虑放缓前沿 AI 开发,希望其他公司也能跟进》
近期热门