草根影响力新视野(琪拉编译)

人工智能模型正在飞速发展 速度之快，以至于它们可能很快就能在无人辅助的情况下自我发展。正因如此，Anthropic 警告人工智能产业：必须创建煞车，否则企业将面临失去对其创造物控制权的风险。

Anthropic 研究所负责人Jack Clark 在一篇博文中指出，能够自我提升的人工智能系统，即所谓的完全递归式自我改进，虽然可能对科学和医疗保健带来巨大益处，但也对人类构成巨大风险。 

图片取自:(示意图123rf)

他们写道：完全递归式自我改进也可能增加人类失去对人工智能系统控制权的风险。如果系统能够完全构建自身的后续版本，那麽我们如何保障系统安全、监控系统运作以及塑造系统行为就变得很重要。 他们警告说，人工智能产业距离实现自我改进的人工智能已经不远了。因此，科技公司应该考虑放缓或暂停前沿人工智能的研发，以便研究人员有时间更了解自我改进型人工智能可能带来的潜在社会危害。他们也表示，研究人员应该创建一套机制，以便在情况失控时，人类能够介入。

Clark呼吁人工智能产业为自己配备一个“煞车踏板”。在Anthropic公司提交首次公开发行（IPO）申请后，他发出了这项警告。并与多家公司一起研发AI刹车系统。让Anthropic、SpaceX和OpenAI等大型人工智能公司合作研发“煞车踏板”似乎与竞争激烈的产业背道而驰，毕竟这些产业涉及数十亿甚至数兆美元的资金。但Clark坚称，这种合作是可能的。他说: “我们以前就这么做过。在冷战高峰时期，在敌对国家高度紧张的局势下，他们找到了稳定核武军备竞赛的方法，所有这些方法在其他领域都曾出现过，或许我们也需要在人工智能领域这样做。”克拉布克说。

资料来源： Anthropic warns that AI will soon be able to improve itself without human intervention | CNN Business