微软研究院自然语言处理团队发布了DialoGPT，这是一个用于自动对话响应生成的预训练深度学习自然语言处理(NLP)模型。该模型已经被训练了超过1.47亿次对话，并在多个基准测试中获得了最新结果。

该团队在arXiv上发表的一篇论文中介绍了该系统的详细信息。DialoGPT基于GPT-2转换器架构，使用Reddit注释线程捕获的数据集进行训练。两个测试数据集用于评估模型，它们是对话系统技术挑战(dstc-7)数据集，并从Reddit中提取了一个新的6k样本数据集。对于这两个数据集，团队使用机器翻译指标(如BLEU和Meteor)来评估DialoGPT与微软的个性聊天的性能。和DSTC-7冠军“b队”。DialoGPT在所有指标上都优于其他机型。该团队还使用人类裁判对DialoGPT的输出和真实人类的反应进行排名。大约50%的时候，评委喜欢DialoGPT的回应。

transformer架构已经成为一种流行的用于自然语言处理任务的深度学习模型。这些模型通常使用无监督学习在大数据集(如维基百科内容)上进行预训练。通过预训练，该模型可以在对特定任务数据集(如DSTC-7数据集)进行微调之前学习自然语言结构。即使不进行微调，大型预训练模型也能在NLP基准上取得最新的结果。然而，DialoGPT团队指出，其中许多模型“臭名昭著，因为它们产生的样本很轻，内容未知。”为了解决这个问题，他们实现了最大互信息(MMI)评分函数，该函数对模型的输出重新排序，并惩罚“沉闷”的输出。研究团队还研究了使用强化学习来提高模型结果的方法，但发现这样做通常会导致答案只重复源句。

由于缺乏高质量的会话任务训练数据集，预训练模型对会话系统特别有吸引力。但是，使用来自Reddit或Twitter等互联网网站的自然对话信息会带来风险，模型可能会暴露在攻击性言论中，可以从中学习。在与推特用户交谈后，来自微软的早期实验聊天机器人Tay产生的输出“绝对不合适，应该受到谴责”。微软的个性化聊天云服务试图通过使用一系列机器学习分类器在自动生成响应之前过滤掉攻击性输入来解决这个问题。作为预防措施，DialoGPT团队选择不发布将模型输出转换为实际文本字符串的解码器。同样，由于担心“技术的恶意应用”，OpenAI最初保留了其完全训练好的模型。