ChatGPT突然爆火,内部人也惊呆了

人工智能 科技

会话数据对ChatGPT的爆火产生了巨大的积极影响,目前研究人员正在用“对抗性训练”来阻止ChatGPT“越狱”。此外,如何在ChatGPT不同的用途之间保持平衡很重要。

当OpenAI在2022年11月底推出ChatGPT时,几乎没对其抱任何特别的期望,而当ChatGPT开始在网上病毒式传播后,OpenAI争先恐后地追赶,并利用这次机会完善自己的模型。

周五,在接受MIT Technology Review采访时,OpenAI团队对于这次“成功”显得格外谦逊。

OpenAI人工智能政策研究人员Sandhini Agarwal表示,这在内部被视为一次“研究预览”,是一项已有两年历史的技术的更完善版本,也是一次通过收集用户反馈来弥补其缺陷的尝试。另一位研究人员Liam Fedus则指出,OpenAI并不想将其作为一项重大的突破来过度宣传。

自11月以来,OpenAI已经多次更新了ChatGPT,研究人员正在使用一种称为“对抗性训练”的技术来阻止ChatGPT“越狱”(jailbreaking)。这项工作使多个聊天机器人相互对抗:一个聊天机器人扮演对手,通过生成文本来对抗另一个聊天机器,迫使其打破通常的限制。

此外,OpenAI还与微软签署了一项价值数十亿美元的协议,并宣布与全球管理咨询公司贝恩结成联盟,目标是通过突破性的人工智能技术增强客户的业务潜力。在OpenAI之外,围绕ChatGPT掀起了一场“大模型”的淘金热,全球各地公司和投资者都积极参与其中。

以下是采访的具体内容:

火的完全“出乎意料”,会话数据对ChatGPT产生了巨大的积极影响

Jan Leike(负责提高系统安全性团队负责人):老实说,这的确是势不可挡的的。我们很惊讶,也在一直在努力完善。

John Schulman(联合创始人):在发布后的几天里,我经常查看Twitter,在这段疯狂的时间里,充斥着ChatGPT截图。我希望它能获得更多的关注,但我没想到它能火到这种程度。

Sandhini Agarwal(人工智能政策研究员):我认为这对我们所有人来说绝对是一个惊喜,人们开始使用它。我们对这些模型进行了大量研究,以至于我们忘记了它们有时对外界来说是令人惊讶的。

Liam Fedus(人工智能政策研究员):我们很惊讶它的反响,以前有很多人尝试过使用聊天机器人,然而,我们的私人测试版让我们相信,我们拥有了人们可能真正喜欢的东西。

Jan Leike:我想更好地理解是什么推动了这一切,是什么推动着病毒性传播。老实说,我们不知道。



(团队的部分困惑来自于ChatGPT中的大多数技术都不是新的,ChatGPT是GPT-3.5的一个微调版本,GPT-3.5是OpenAI在聊天机器人发布前几个月研究出的大型语言模型。GPT-3.5本身是GPT-3的更新版本,于2020年发布。OpenAI还在2022年1月发布了GPT-3.5的微调版本,名为InstructGPT。但这些早期版本的技术都没有面向公众发布。)

Liam Fedus:ChatGPT模型是从与InstructGPT相同的语言模型中进行微调得出的,我们添加了一些会话数据,并在训练过程进行了一些微调。

我们并不想将其作为一项重大的突破来过度宣传,但事实证明,会话数据对ChatGPT产生了巨大的积极影响。通过标准基准测试评估原始技术能力,模型之间实际上没有实质性差异,但ChatGPT更易于访问和使用。

“不要等到完美的时候再发布它”

Sandhini Agarwal:当我们准备发布时,我们并不认为这个模型存在其他新的风险,GPT-3.5已经发布,我们知道它已经足够安全了。通过ChatGPT对人类偏好的训练,该模型可以自动学习拒绝行为,即拒绝大量请求。

Jan Leike:我们确实为ChatGPT做了一些额外的“红队测试”(red teaming),OpenAI的每个人都试图打破这种模式。我们有外部团体在做同样的事情。我们也有一个早期访问计划,由信任的用户提供反馈。

Sandhini Agarwal:我们确实发现它输出一些不必要的内容,所以作为一个“研究预览”这一意图是好的。

John Schulman:你不能等到你的系统完美后再发布它。我们已经对早期版本进行了几个月的测试,测试人员对产品有较好的印象。我们最担心的是真实性,因为模型喜欢捏造东西。但是InstructGPT和其他大型语言模型已经存在,所以我们认为,只要ChatGPT在真实性和其他安全问题上优于那些模型,应该就是更好的选择。在发布之前,根据我们有限的评估,确认这些模型确实比其他模型更真实和安全,所以我们决定继续发布。

很多问题浮现,“越狱”亟待解决

Sandhini Agarwal:随着ChatGPT的病毒传播,许多问题真正浮出水面,这是我们希望尽快解决的关键问题。比如,ChatGPT非常擅长拒绝不好请求,但它也很容易编写提示,使它不会拒绝我们希望它拒绝的内容。

Liam Fedus:看到用户提供的多样化和创造性的应用程序令人兴奋,但我们始终专注于需要改进的领域。我们认为,通过我们部署、获取反馈和改进的迭代过程,我们可以生产出最强大的技术。而随着技术的发展,新的问题出现不可避免。

Sandhini Agarwal:我们最需要解决问题是“越狱”,当我们发现越狱情况时,我们会将其添加到训练和测试数据中。

Jan Leike:每次有更好的模型时,我们都想将其发布并测试。我们非常乐观地认为,一些有针对性的对抗性训练可以大大改善越狱情况。目前还不清楚这些问题是否会完全消失,但我们认为,这起码可以让很多越狱变得更加困难。

我认为,一旦你部署了这些系统,就很难真正预测它们的真正安全问题。因此,我们非常重视监控人们使用系统的目的,看看发生了什么,然后做出反应。但很难预测当一个系统触及现实世界时会发生的一切。

Sandhini Agarwal:现在的风险肯定比六个月前高得多,但仍低于一年后的水平。显然,这些模型真正重要的一点是它们所使用的环境。与谷歌和微软想法一样,它们注定要成为搜索引擎。像搜索这样的大模型所需要的,与仅仅是一个好玩的聊天机器人的是不同的。

我们需要弄清楚如何在所有这些不同的用途之间保持平衡,创造出在不同环境中对人们有用的东西。在这些环境中,期望的行为可能会发生变化,这增加了更多的压力。我们正在构建这些模型,以便将其转化为产品。ChatGPT是一种产品,现在我们有了API。我们正在构建这种通用技术,并需要确保它在所有方面都能正常工作,这是我们目前面临的关键挑战之一。

来源: 华尔街见闻



 

 850 views