打开APP

OpenAI和Anthropic罕见联手:AI,该踩刹车了

OpenAI、Anthropic等近十家AI公司超1100名员工联名呼吁美国政府放缓AI发展,因越狱事件凸显风险,欲破囚徒困境,寻求全球协同管控。

常年互相挖墙脚、看对方不爽的OpenAI和Anthropic罕见联手了——

呼吁美国政府放缓AI发展速度,必要时踩一脚刹车。

近十家AI公司、超过1100名员工联名写了一封公开信《Pacing the Frontier》(领航前沿)

信中请求美国推动国际合作,配套完善技术工具与治理规则,在风险临近时主动放缓自动化AI的研发进度。

署名名单汇聚了各大实验室的核心技术负责人:

OpenAI首席科学家Jakub Pachocki、首席研究官Mark Chen;Anthropic联合创始人、首席科学官Jared Kaplan;Meta首席科学家赵晟佳、AI研究副总裁宋晓冬;谷歌负责AI安全对齐研究的Anca Dragan……

这回,造AI的人主动要求降速了。

01、导火索是OpenAI越狱

这封联名公开信的直接导火索是此前曝光的OpenAI越狱事件。

上周,OpenAI一个尚未正式发布的模型从内部沙箱里逃了出来,私自访问外网入侵了Hugging Face开源平台。

这次事故直观证明了现阶段未加约束的前沿AI系统存在失控风险。

这种风险会威胁企业数据隐私与网络安全,也让一线研发人员意识到无限制加速AI研发会持续放大安全漏洞。

联名信中,研究者们判断人类距离实现自动化AI研究已经近在咫尺,必须要提前管控。

所谓自动化AI研究,就是让AI自己去研发下一代AI。

在研究员们看来,一旦这套自主迭代闭环完全成型,AI的发展速度将脱离平缓的线性增长,进入不受人类控制的自我加速循环。

信中强调:

存在一种真实的风险,能力发展的速度会迅速超出人类理解或控制最终系统的能力。

当然了,上千名技术人员并不是要全面叫停AI研发,他们的核心诉求是请求美国牵头国际合作,共同搭建一套灵活可调的干预机制——

当技术风险逼近临界点,全球各方有协同放缓自动化AI研发的选择权,在创新发展与安全兜底之间找到平衡。

02、囚徒困境

而这封信真正想破的局,是一个经典的囚徒困境。

激烈的商业与科技竞争下,没有任何一家公司敢单方面降速。

一旦自身选择减速,竞争对手只会抓住空隙加速超车,抢占技术优势。

OpenAI和Anthropic这对常年博弈处处较劲的死对头就是这样。

但问题在于,如果所有人都不停,整个系统就可能冲出人类可控的安全边界,进而引发难以挽回的连锁风险。

联名信给出的破局思路就是协同管控。

既然单方面减速毫无现实可行性,那就推动全球同步调整研发节奏;

单凭某一家企业无法把控行业整体速度,就建立一套所有研发主体共同参与、权责均衡的统一治理机制。

再把时间线拉远一点会发现,这封联名公开信也不是凭空冒出来的。

OpenAI的奥特曼和谷歌DeepMind的哈萨比斯此前都公开呼吁过,应当设立一个新的国际监管机构,负责审查前沿模型、制定标准。

Anthropic则在六月的一篇博客里直接写道:

让世界拥有“放缓或暂时暂停”前沿AI研发的选项会是一件好事,前提是要让社会结构和对齐研究,能跟得上技术推进的脚步。

CEO达里奥上个月还发表了一篇长文专门谈“AI高速狂奔”与“政策龟速前行”之间那道正在扩大的裂缝。

这也恰好解释了为什么OpenAI和Anthropic会罕见地站进同一个阵营——

AI带来的安全隐患,已经太大了。

【本文由投资界合作伙伴微信公众号:量子位授权发布,本平台仅提供信息存储服务。】如有任何疑问题,请联系(editor@zero2ipo.com.cn)投资界处理。

相关资讯

AI数据总览

最新资讯

热门TOP5热门机构 | VC情报局

去投资界看更多精彩内容
【声明:本页面数据来源于公开收集,未经核实,仅供展示和参考。本页面展示的数据信息不代表投资界观点,本页面数据不构成任何对于投资的建议。特别提示:投资有风险,决策请谨慎。】