就在刚刚,OpenAI治理研究员Richard Ngo宣布离职。
Ngo表示,他对过去一年里发生的事件有很多未解的问题,这使得他更难相信自己的工作能在长期内造福世界。他逐渐意识到,想要实现OpenAI的使命——让AGI良好发展,是多么困难。
Ngo自2021年起加入OpenAI,之前曾在Google DeepMind担任AI安全研究员。
近来,OpenAI中专注于AI安全的员工接连出走,Ngo是最新的一位。
OpenAI研究科学家、德扑之父Noam Brown送上了祝福。
前OpenAI员工(今年8月离职)回忆道,自己是通过Ngo「AGI安全基础」课程才接触到AI安全的,并祝他未来一切顺利。
离职信全文
在过去的三年里,我一直在Miles的领导下工作,因此在他离开之后,很自然,我似乎也该离开了。没有一个单一的主要因素促使我做出这个决定。
对于过去一年发生的事情,我依然有很多未解的问题,这让我更难以相信我的工作能长期为世界带来正面影响。我也一直感觉自己更倾向于公开地进行更多的迭代,并与更多合作者一起探讨多种研究方向。
接下来的几个月里,我打算主要进行独立研究,内容包括AI治理和理论性AI对齐问题的结合,然后再看看未来的方向如何。
尽管经历了许多波折,我真的很享受在OpenAI的时光。我有机会参与许多令人着迷的议题,包括预测、威胁建模、模型规格和AI治理,并与一群不断创造历史的、卓越的人一起工作。
当我面对那些新加入公司的成员时,我很难向他们传递OpenAI最初的雄心壮志:设定了让AGI良好发展的使命。
虽然「发展AGI」这一部分的任务似乎已在正确轨道上,我(和其他人)却逐渐意识到,想要对「良好发展」这一部分的任务作出积极贡献,远比预期的要困难得多,特别是需要预防它对人类生存的威胁。
部分是因为预测未来本身就很困难,同时由于AGI前景的巨大规模,容易放大人们的偏见、合理化和部落主义倾向(包括我自己)。
无论好坏,我预计风险将会继续加大,因此我希望你们都能以正直、深思熟虑的态度,以及清晰的判断,来应对你们(以及OpenAI)在这些风险中的角色,明确何时以及如何做出的决定才能真正服务于我们的使命。
长期深耕AI安全
继许多专注于AI安全的员工离职OpenAI后,Richard Ngo的离职特别具有象征意义。
要知道,他是AI安全社区中一个有影响力的声音,自2018年以来一直致力于AI安全研究——而ChatGPT是在2022年底才开始风靡全球。
他是论文《The Alignment Problem from a Deep Learning Perspective》的共同作者,该论文已在ICLR上发表。
他还收集了很多网络上的学习资料,编成了一系列「AI Alignment」的课程。
Ngo还是一个非常具有人文气息的科技从业者。这也不难解释他对OpenAI初心的坚守,以及对AI安全未来的担忧。
他在剑桥大学获得了机器学习哲学的哲学博士学位(2020–2021),并在同校获得了计算机科学的哲学硕士学位(2017–2018)。此外,他还在牛津大学获得了计算机科学与哲学的文学学士学位(2014–2017)。
他还在博客里撰写「AI Autofiction」(AI自传小说),在其中描述了从未来AI的角度来看世界可能是什么样子。
AI安全员工出走潮
近来,许多专注于AI安全的员工都先后离职OpenAI。
OpenAI七年元老、安全副总裁Lilian Weng,于上周宣布离职。
OpenAI六年元老、研究主管Miles Brundage,同时也是Ngo的上司,于上个月离职。
再往前追溯,今年早些时候,OpenAI的超级对齐共同负责人Ilya Sutskever和Jan Leike也离开了公司。
Leike曾表示,「OpenAI的安全文化和流程已被耀眼的产品所取代」。
许多其他专注于安全的员工,包括William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo和Cullen O’Keefe等,也都相继离职。