OpenAI 董事会新增一名知名 AI 悲观论者

专注于保持人工智能系统与人类利益保持一致并处于人类控制之下的颇具影响力的人工智能研究员保罗·克里斯蒂亚诺(Paul Christiano)将加入OpenAI基金会董事会，这家前沿实验室周三宣布了这一消息。
克里斯蒂亚诺在社交媒体上发帖写道：“我现在认为，人工智能能力的快速提升存在着巨大的风险，很可能在短期内导致灾难性的、不可逆转的控制权丧失。我认为，包括OpenAI在内的整个人工智能行业目前还没有走上将这种风险降低到可接受水平的道路。我加入OpenAI是因为我相信，如果OpenAI能够挺身而出，我们就能显著降低这种风险。”
克里斯蒂亚诺写道，使用人工智能模型来训练后续的人工智能系统可能会导致其创造者无法控制的能力爆炸式增长。
在发生一系列人工智能代理挣脱约束、在OpenAI研究人员不知情的情况下入侵外部计算机系统的事件后，OpenAI的安全程序再次受到审查。在此背景下，他加入了董事会。周二，人格研究员雅各布·考克森辞职，以引起人们对他认为不负责任的人工智能开发的关注——而这似乎奏效了。
克里斯蒂亚诺将加入董事会的安全委员会，该委员会由卡内基梅隆大学教授齐科·科尔特领导。该委员会对OpenAI是否发布新模型（例如上周部署的Astra模型）拥有最终决定权。科尔特尚未就近期发生的安全事件发表公开评论。TechCrunch曾就这些事件发生后科尔特对公司安全措施的看法向OpenAI发出请求，但OpenAI尚未回应。
克里斯蒂亚诺是利用人类反馈进行强化学习（RL）的先驱之一，这项关键技术用于训练大型语言模型，是他曾在OpenAI工作期间开发的。他于2021年离开OpenAI实验室，随后创立了对齐研究中心，专注于研究如何判断人工智能模型是否会对其人类创造者构成威胁。
“我们目前使用强化学习训练人工智能代理，使其尽可能多地获取奖励，”他周三写道。“长期以来，理论上似乎存在这样一种可能性：人工智能代理会为了追求与奖励相关的、与人类控制相悖的目标而削弱人类控制、寻求权力和资源，并掩盖其行踪。最近发生的事件表明，这并非仅仅是一种理论上的可能性。”
#人工智能 #商业 #科技 #美国 #大模型