编辑 | 伊风
“现存的机器显然并不比人类更强大，马也比我们强壮得多，速度也比我们快。但没有人感受到马的威胁。但AI并不是这样。”
“我们现在还缺乏对具有人类水平智能的AI系统的蓝图规划”。
“我们要阻止科学向一个方向或另一个方向发展是不可行的”。
“未来的AI系统必须是目标驱动且可控的。”
这些强烈的观点，是图灵奖获得者杨立昆与其他三位AI界大佬，在瑞士达沃斯举行的世界经济论坛上的圆桌内容，围绕着 “我们应不应该恐惧AGI”"我们能不能控制AGI" ，他们展开了非常激烈、极具思辨性的探讨和辩论。
在这场头脑风暴中，大家更深一步地探讨了，人工智能生成的潜在极限是什么，我们离人工智能的其他变革性进步还有多远，以及当我们说 "人工智能生成 "时，我们到底是什么意思。
在开场时，主持人要求嘉宾们按照对AGI问题的担忧程度就坐，认为问题越严重就越靠右侧坐。
从左到右的AI专家依次是：
以下是经过整理的圆桌内容：
主持人：
好的，现在把时间交给我们的圆桌嘉宾。当然，人工智能目前面临着许多挑战，我们需要应对和解决。由于大选、诈骗和各种其他原因，今年的deepfake问题非常突出。如果你想了解更多，我们有一个deepfake演示工具，你可以自己进行deepfake，并分享你的想法。但这不是我们现在要谈论的，因为我们要展望更长远的未来。
从一开始，人工智能的最终目标就一直是真正解决智能问题，并了解如何制造出与人类所能做到的所有事情能力相当的机器。这既令人兴奋又令人恐惧。
我们在这里的主要目标并不是辩论我们是否应该担忧AI的未来，而是本着麻省理工学院的精神就可能的解决方案进行一次头脑风暴，可以吗？
我有一个非常激进和异端的信念，即你实际上同意的东西比普通Twitter用户可能意识到的要多得多。我们将通过提问探索下，看看我们是否能找到一些你们都同意的事情，现在我们将开始这个环节。所以我会用一些快问快答让你们热身，基本上只能回答是或否。
第一个问题，你是否对改进人工智能以使其成为我们的工具并真正补充和帮助人类感到兴奋，Yes or no?
主持人：
下一个问题，你相信未来几年人工智能会比现在好得多吗？
主持人：
现在，让我们更难一点。所以，如果我们将通用人工智能定义为，可以在人类水准或更好地完成所有认知任务的人工智能，你觉得我们现在已经拥有它了吗？
绝对没有
没有
Daniela&Stuart：
不，不。
主持人：
好的，4个no。你认为我们可能会在接下来的一千年内拥有它吗？
也许？
当然。
主持人：
你认为你可能会在下一百年内拥有它吗？
可能。
也许很可能。
很可能，除非发生了核灾难。
是的。
主持人：
好的，如果你去确定一个数字，比如多少年，我们就能等到有50% 的机会以某种方式实现AGI，你估计是哪一年？
不会很快。
几十年。
比我以前想象的要少得多。
主持人：
5.4年，好的，你说的很精确。所以我认为，你们都会同意我们安排嘉宾坐在了正确的位置上，你应该看到他们的警报级别与他们认为我们将（实现AGI并且）不得不处理安全问题的速度相关。
所以很明显，如果你有一些世界上领先的世界专家认为它可能会相对较快发生，我们必须认真对待这种可能性。问题是，我们如何确保AI成为我们可以控制的工具，以便我们可以获得所有的正面影响，而不是风险？
在达沃斯真正打动我的一件事是，我听到的绝大多数人对AI、所有大多数医学突破、消除贫困、改善全球气候、创造伟大的新商业机会感到兴奋，但这些都不需要AGI。
所以我实际上很好奇，是否有办法让我们解读这个悖论。我们说，能做所有事情的伟大的人工智能，也许最早要到2040年才能做成。这是你们觉得可以接受的事情，还是你们觉得迫切需要尽可能快地使某些东西变得超级智能？这次你朝哪个方向走？你会说什么？
我可以接受。
主持人：
你可以接受这一点。你呢Stuart，我们可以再详细阐述一下。
我也可以接受，但实际上我接不接受并不影响这件事。我认为真正具有影响的是推动AGI的经济力量是什么，如果AGI价值15万亿美元——正如我估计的那样，有点难说，人们知道你阻止不了这件事的发生。
首先，没有所谓的AGI。我们可以谈论人类水准的人工智能，但人类的爱（感知）、人类的智能是非常精确的（并不通用），所以我们根本不应该谈论AGI。我们应该讨论一下，我们可以观察到的目前人工智能系统尚不具备的人类和动物所拥有的智能类型。
而且，你知道，目前的人工智能系统还不具备，比如像你的猫或者你的狗那样的能力。因此，我们要解决的问题是如何让机器像人类和动物一样高效地学习，这在很多应用中都很有用。
这是未来，因为我们将拥有AI助手，你知道，我们和AI将在日常生活中交谈来获得帮助。
我们需要这个系统具有人类水平的智能。所以你知道，这就是为什么我们需要它，我们需要把它做好。
主持人：
我同意简的看法，但让我首先说，我认为要说我们要阻止科学向一个方向或另一个方向发展是不可行的。所以我认为新的知识必须继续被探索出来。我们需要继续突破知识的边界。这是目前在这个领域工作最令人兴奋的方面之一。
我们确实希望改进我们的工具，我们确实希望开发出比我们现在拥有的模型更接近自然的更好的模型。我们希望尽可能详细地了解自然。我相信可行的前进之路是从自然界中更简单的生物开始，逐步发展到更复杂的生物，比如人类。
所以我想对一些事情提出异议。那就是，知道和行动之间有一个重要的区别。对于人类来说，实际上，了解和懂得一件事情，并不都是好事情，这是有局限性的。如果地球上每个人都知道如何在他们的厨房里创造一种能够消灭人类的有机体，是一个好主意吗？这不是。所以我们接受它是有限制的，我们应该知道懂得什么是一件好事。并且我们应该考虑我们在将知识付诸实践上同样存在边界。
我们应该制造大到足以点燃整个地球大气层的核武器吗？我们可以做到。但大多数人会说，不，制造这样的武器不是个好主意。好的，所以我们应该如何运用我们的知识是有限制的。
然后第三点是，构建比我们不知道如何控制的人类更强大的系统（AI）是一个好主意吗？
好的，我必须回答你。我会说，每一项发明的技术都有积极和消极的一面。我们发明知识，然后找到确保发明被用于好而非坏的方法。并且有这样的控制机制，世界正在为人工智能开发机制。
关于你的观点，即我们是否拥有比人类更强大的机器。我们已经在做了。我们已经有了可以比你更能精确移动的机器人。我们有机器人能举起比你能举的更重的东西。我们拥有的机器学习算法可以处理比我们更多的数据，因此我们已经拥有可以做比我们更多事情的机器。
但这些机器显然并不比人类更强大，就像大猩猩并不比人类更强大一样，即使它们比我们强壮得多。马也比我们强壮得多，速度也比我们快。但没有人感受到马的威胁。
我认为所有这一切都有一个很大的谬论。首先，我们没有一个具有人类智能水平的系统的蓝图。它不存在，相关研究也不存在，需要做科学研究。这就是它即将要做的事情，需要很长时间。
因此，如果我们今天谈论如何防止AI系统接管世界，谈论它的危险——不管它们是什么，这就好像我们在1925年谈论以接近音速穿越大西洋的危险一样，当时涡轮喷气发动机还没有发明。你知道，我们不知道如何使这些系统安全，因为我们还没有发明它们。现在，一旦我们有了一个智能系统的蓝图，我们可能也会有一个可以控制的系统的蓝图，因为我不相信我们可以建造没有内部控制机制的智能系统。我们像人类进化一样，用特定的驱动力构建了我们。我们可以用相同的驱动器制造机器。所以这是第一个谬论。
第二个谬论是，并不是因为一个实体有智慧，它就想要主宰地位，或者它必然是危险的。它可以解决问题。你可以告诉它，你可以为它设定目标，它就会实现这些目标。系统会以某种方式想出自己的目标并试图接管人类的想法是荒谬的。
对我来说令人担忧的是，AI的危险不是来自任何不良的特质、或者有一种可以从AI中移除的邪恶。而是，因为它有能力、因为它强大——这就是它危险的原因。一项技术之所以有用，也就是它之所以危险。核反应堆有用的原因是因为核弹很危险。
几十年和几个世纪以来，随着技术的进步，这是同样的逻辑，我们已经获得了越来越多的强大技术，更多的能源，对我们环境的更多控制。这意味着，最好和最坏的事情可能是有意发生的，也可能是意外地与我们构建的技术同步发展。
AI是一种特别强大的技术，但它并不是唯一一个可以变得如此强大以至于即使是一次事故也是不可接受的技术。有些技术今天已经存在或将在未来某个时候存在。让我们不要现在争论是十年还是两次。我的孩子们将在50年后仍然活着，我希望他们在我们之后继续生活下去。一次事故可能就是终点。
如果你拥有一项技术，无论是AGI、未来核武器、生物武器还是其他东西，你都可以制造出强大的武器或系统，以至于一次事故就意味着游戏结束。我们的文明并没有建立在我们目前开发技术的方式上，以便能够处理那些不会让你重试的技术。这就是问题所在。如果我们再试一次，如果我们可以一次又一次地尝试，我们失败了，有些东西爆炸了，你知道，也许会有几个人死亡，但没关系。是的，那么我同意简和丹妮拉的观点，我认为我们的科学家得到了这个。我认为你的实验室会解决这个问题。我认为这些人会解决它。但如果一个事故造成的危害太多了，我认为这个问题会无法解决。
但是到了那个点，到了Stuart和Connor刚刚提到的点，你可以想象无限种情况，当所有这些事情都变坏了。你可以用任何技术做到这一点。你可以用AI做到这一点，显然科幻小说中充满了此类的情节。
你可以用涡轮喷气发动机做到这一点，涡轮喷气发动机可能会爆炸，有很多很多方法来构建这些系统，这些方法将是危险的，错误的，会造成人类死亡等等。
但只要至少有一种方法可以让我们控制它，那就是我们需要的技术。例如，过去在原型水平上开发的很多技术，我们都决定不应该真正，因为它太危险或者不可控，例如核动力汽车，人们在50年代就谈论过这个问题，它从未部署过。因此，如果技术真的很危险，社会上有机制可以阻止技术的部署，所以有办法使AI安全。
我实际上同意理解当今技术的局限性并理解并着手开发解决方案非常重要，在某些情况下，我们可以得到开发的技术解决方案。
例如，我们一直在谈论机器学习中的偏见问题。我们实际上有技术解决方案，解决这个问题的技术解决方案，我们在谈论模型的大小，我们在谈论可解释性，科学界正在努力应对当今解决方案的挑战，同时也在寻求发明新的AI方法，具有其他类型属性的机器学习的新方法。
事实上，在麻省理工学院，许多研究小组的真正目标是突破界限，开发可部署在安全关键系统和边缘设备上的解决方案。这非常重要，而且有非常出色的进展，所以我非常看好在安全关键应用中使用机器学习和人工智能。所以我同意斯图尔特所说的一件事，但也同意年轻人分享的许多观察。
主持人：你们中的几个人独立地说我们需要新的架构，新的技术解决方案。所以总结一下，如果你们中的一些人想要简单地分享一些看法吗？我们需要什么样的新架构，才能更有前途，使其成为能力补充而不是取代我们的AI？
当然，是的。我真的不能给你一个有效的例子，因为这是进展中的工作，但这些是驱动实现的目标。在推理时，他们必须满足实现我们给他们的目标，同时也要满足一堆保护原则。所以他们应该计划他们的答案，而不是仅仅一个字接一个地产生自回归（杨立昆并不看好LLM可以产生AGI）。它们不能被越狱，除非你入侵它们。
因此，我认为这将是一种比我们正在谈论的当前类型要安全得多的架构。这些系统将能够计划和推理，记住，也许是理解物理世界，做出目前做不到的各种事情。因此，未来的AI系统不会在我们目前拥有的蓝图上，并且它们将是可控的，因为它将是目标驱动的。
液体网络是解释大脑运行的灵感，大脑是小的生物，它们是可证明的因果关系。它们紧凑，可解释，并且可以部署在边缘设备上。既然我们有这些伟大的特性，我们也有控制权。
我也很兴奋能够将我们正在开发的一些机器学习工具与控制理论工具联系起来。例如，将机器学习与屏障网络和控制屏障功能等工具相结合，以确保我们的机器学习系统的输出是安全的。
我认为最重要的实际技术是社会层面的技术。对于技术人员、技术书呆子来说，就像我们在这个小组中的所有人一样，试图想出不涉及人类的解决方案是非常诱人的。但事实是世界很复杂。这既是一个政治问题，也是一个技术问题。如果我们忽视这个问题的技术和社会方面，我们将注定会失败。因此，理解技术乐观主义并不能取代人文主义是非常重要的。
主持人：
太棒了，让我们感谢你们精彩的小组激发了我们。我希望你也能从中得出结论，尽管他们并非在所有问题上都达成一致，但他们都同意我们想制作可以控制并补充我们的工具，而且他们都非常技术宅，拥有令人兴奋的技术想法。感谢大家的参与！
参考链接：
本文转载自 技术栈 ，作者：