企业宣传,产品推广,广告招商,广告投放联系seowdb

AGI使命无比困难 又一OpenAI研究员离职!不相信OpenAI能造福世界

就在刚刚,OpenAI治理研究员Richard Ngo宣布离职。

Ngo表示,他对过去一年里发生的事件有很多未解的问题,这使得他更难相信自己的工作能在长期内造福世界。他逐渐意识到,想要实现OpenAI的使命——让AGI良好发展,是多么困难。

Ngo自2021年起加入OpenAI,之前曾在Google DeepMind担任AI安全研究员。

近来,OpenAI中专注于AI安全的员工接连出走,Ngo是最新的一位。

OpenAI研究科学家、德扑之父Noam Brown送上了祝福。

前OpenAI员工(今年8月离职)回忆道,自己是通过Ngo「AGI安全基础」课程才接触到AI安全的,并祝他未来一切顺利。

离职信全文

在过去的三年里,我一直在Miles的领导下工作,因此在他离开之后,很自然,我似乎也该离开了。没有一个单一的主要因素促使我做出这个决定。

对于过去一年发生的事情,我依然有很多未解的问题,这让我更难以相信我的工作能长期为世界带来正面影响。我也一直感觉自己更倾向于公开地进行更多的迭代,并与更多合作者一起探讨多种研究方向。

接下来的几个月里,我打算主要进行独立研究,内容包括AI治理和理论性AI对齐问题的结合,然后再看看未来的方向如何。

尽管经历了许多波折,我真的很享受在OpenAI的时光。我有机会参与许多令人着迷的议题,包括预测、威胁建模、模型规格和AI治理,并与一群不断创造历史的、卓越的人一起工作。

当我面对那些新加入公司的成员时,我很难向他们传递OpenAI最初的雄心壮志:设定了让AGI良好发展的使命。

虽然「发展AGI」这一部分的任务似乎已在正确轨道上,我(和其他人)却逐渐意识到,想要对「良好发展」这一部分的任务作出积极贡献,远比预期的要困难得多,特别是需要预防它对人类生存的威胁。

部分是因为预测未来本身就很困难,同时由于AGI前景的巨大规模,容易放大人们的偏见、合理化和部落主义倾向(包括我自己)。

无论好坏,我预计风险将会继续加大,因此我希望你们都能以正直、深思熟虑的态度,以及清晰的判断,来应对你们(以及OpenAI)在这些风险中的角色,明确何时以及如何做出的决定才能真正服务于我们的使命。

长期深耕AI安全

继许多专注于AI安全的员工离职OpenAI后,Richard Ngo的离职特别具有象征意义。

要知道,他是AI安全社区中一个有影响力的声音,自2018年以来一直致力于AI安全研究——而ChatGPT是在2022年底才开始风靡全球。

他是论文《The Alignment Problem from a Deep Learning Perspective》的共同作者,该论文已在ICLR上发表。

他还收集了很多网络上的学习资料,编成了一系列「AI Alignment」的课程。

Ngo还是一个非常具有人文气息的科技从业者。这也不难解释他对OpenAI初心的坚守,以及对AI安全未来的担忧。

他在剑桥大学获得了机器学习哲学的哲学博士学位(2020–2021),并在同校获得了计算机科学的哲学硕士学位(2017–2018)。此外,他还在牛津大学获得了计算机科学与哲学的文学学士学位(2014–2017)。

他还在博客里撰写「AI Autofiction」(AI自传小说),在其中描述了从未来AI的角度来看世界可能是什么样子。

AI安全员工出走潮

近来,许多专注于AI安全的员工都先后离职OpenAI。

OpenAI七年元老、安全副总裁Lilian Weng,于上周宣布离职。

OpenAI六年元老、研究主管Miles Brundage,同时也是Ngo的上司,于上个月离职。

再往前追溯,今年早些时候,OpenAI的超级对齐共同负责人Ilya Sutskever和Jan Leike也离开了公司。

Leike曾表示,「OpenAI的安全文化和流程已被耀眼的产品所取代」。

许多其他专注于安全的员工,包括William Saunders、Leopold Aschenbrenner、Pavel Izmailov、Collin Burns、Carroll Wainwright、Ryan Lowe、Daniel Kokotajlo和Cullen O’Keefe等,也都相继离职。

© 版权声明
评论 抢沙发
加载中~
每日一言
不怕万人阻挡,只怕自己投降
Not afraid of people blocking, I'm afraid their surrender