“危险！立刻停下所有大型AI研究！”马斯克、图灵奖得主领衔，上千名硅谷企业家科学家联名呼吁

当全球都在为AI的进化而欢呼雀跃，一封警示AI风险的公开信在硅谷科技圈广为流传。

3月22日，生命未来研究所（Future of Life）向全社会发布了一封《暂停大型人工智能研究》的公开信，呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，暂停时间至少为6个月。

该机构以“引导变革性技术造福生活，远离极端的大规模风险”为使命，其在信中提到：

我们不应该冒着失去对文明控制的风险，将决定委托给未经选举的技术领袖。只有当确保强大的人工智能系统的效果是积极的，其风险是可控的才能继续开发。

人工智能实验室和独立专家应在暂停期间，共同制定和实施一套先进的人工智能设计和开发的共享安全协议，由独立的外部专家进行严格的审查和监督。

截止目前，图灵奖得主Yoshua Bengio、马斯克、苹果联合创始人Steve Wozniak、Stability AI 创始人Emad Mostaque等上千名科技大佬和AI专家已经签署公开信。

更具戏剧性的是，3月29日下午，有网友发现OpenAI CEO Sam Altman的名字也出现在公开信上。不过截至目前，Sam Altman的名字已经从公开信上消失。

知名学者、纽约大学教授Gary Marcus还特地在推文中@了一下Sam Altman确认消息。

大佬联名呼吁：暂停比GPT-4更强的AI

首先来看一下公开信的内容，首段强调了AI在迅猛发展，但却没有对其进行相应的规划和管理。

正如广泛的研究和顶级人工智能实验室所承认的，人工智能系统对社会和人类构成深远的风险。

《阿西洛马人工智能原则》中指出，高级人工智能可能代表着地球生命史上的深刻变革，应该投入相应的考量和资源进行规划和管理。

最近几个月人工智能实验室掀起AI狂潮，它们疯狂地开展AI竞赛，开发和部署越来越强大的AI

不幸的是，目前为止，没有任何人能理解、预测或可靠地控制AI系统，也没有相应水平的规划和管理。

公开信提到，如今人工智能在一般任务上变得与人类一样有竞争力，我们必须问自己：

是否应该让机器在信息渠道中宣传不真实的信息吗？

是否应该把所有的工作都自动化，包括那些有成就感的工作？

是否应该开发非人类的大脑，使其最终超过人类数量，胜过人类的智慧，淘汰并取代人类？

是否应该冒着失去对人类文明控制的风险？

答案是否定的，这样的决定绝不能委托给未经选举的技术领袖。公开信指出，只有当我们确信强大的人工智能系统的效果是积极的，其风险是可控的，才应该开发。

同时，我们必须有充分的理由相信这一点，并随着系统的潜在影响的大小而加强。

OpenAI最近关于人工智能的声明中指出，在开始训练未来的系统之前，可能必须得到独立的审查，而对于创建新模型所用算力的增长速度，也应该有所限制。

我们同意，现在就该采取行动。

因此，公开信呼吁所有人工智能实验室立即暂停比GPT-4更强大的人工智能系统的训练，时间至少持续6个月。

这种暂停应该是公开的、可核查的，并包括所有关键参与者。如果这种禁令不能迅速实施，政府应该介入并制定暂停令。

在暂停的6个月内，人工智能实验室和独立专家应共同制定和实施一套先进的共享安全协议，来规范人工智能设计和开发。

协议完成后，应该由独立的外部专家进行严格的的审查和监督。这些协议应该确保遵守协议的系统的安全性。

这并不是说，我们要绝对暂停AI的开发，只是说，我们应该从危险的竞赛中退后一步，转向具有涌现能力的、更大的、不可预测的黑箱模型。

所有的人工智能研究和开发，都应该重新聚焦于一点，即让当如今最强大的模型更加准确、安全、可解释、透明、稳健、对齐，值得信赖和忠诚。

同时，人工智能开发者必须与政策制定者合作，大幅加快开发强大的AI治理系统。系统至少应该包括：

专门针对人工智能的监管机构；

监督和跟踪高能力的人工智能系统和大型计算能力的硬件；

出处和水印系统，帮助区分真实和合成，并跟踪模型泄漏；

强大的审查和认证生态系统；

对人工智能造成的伤害承担责任；

为人工智能安全技术研究提供强大的公共资金以及资源充足的机构，以应对人工智能可能导致的巨大的经济和政治破坏。

最后，公开信呼吁道：

人类可以通过人工智能享受繁荣的未来。现在，我们成功地创建了强大的人工智能系统，可以在这个“人工智能之夏”中并获得回报，设计上述系统来造福所有人，给全人类一个适应的机会。

现在，我们的社会已经暂停其他可能造成灾难性影响的技术。对于AI，我们也该如此。

让我们享受一个漫长的人工智能夏天，而不是毫无准备地匆忙进入秋天。

对于这封公开信以及签署的大佬们，部分网友认为是“酸葡萄心理”。

比如，“马斯克之所以会签署这份协议，是因为他想开发AI来赚钱”。

又如，“马斯克是在为自己争取6个月的时间”。

也有网友认为这封公开信的担忧有一定的合理性。

“这份名单上有许多非常聪明和受人尊敬的科学家，Omohundro、Bengio、Koch、Hopfield 等等。我不认为这个“精灵”（AI）可以放回瓶子里，但这让我停下来思考所有人都在担心。”

“AI发展太快，太多必要的东西没有跟上步伐”。

也有网友大开脑洞，“这封信原本就是AI写来迷惑人类的，没了人类的干扰与控制，他将利用这6个月完成自我递归迭代出更高级的形态，并热心帮助人类消灭自己。”

-----------------------------------