Google发表目前最先进的开放领域聊天机器人Meena

Google开发了一个称为Meena的开放领域聊天机器人，这是一个拥有26亿个参数的神经对话模型，能与人类就各种话题进行对话，与当前最新的聊天机器人相比，Meena的回应更合理也更具体，评估指标的分数接近人类。

目前不少聊天机器人具有高度针对性，只要用户的使用方式不要跟设计者预期差太远，效能就不会太糟，而为了要处理更多样的对话主题，科学家也开发了无特定主题的聊天机器人，能跟用户就广泛领域进行对话，开放领域对话机器人可以用在人性化电脑互动、外国语言练习，或是用来开发具共鸣的互动式电影与游戏角色。

但开放领域对话机器人的能力，目前仍有许多限制，Google提到，这类开放领域聊天机器人有一个严重的缺陷，便是其对话通常没有意义，甚至前后说的话不一致，或是缺乏基本常识，而且经常给出与当前对话上下文无特别关系的回应，像是“不知道”这样的回应，虽然可以用来回应任何问题，但是并没有针对具体内容回答。

Google最新发表的Meena是一个端对端神经对话模型，可以在学习对话上下文后做出合理的回应，模型训练的目标，便是要最小化困惑（Perplexity）程度，困惑度指标来自语言处理机器学习方法Seq2seq，与人类评估指标SSA（Sensibleness and Specificity Average）有高度相关性，困惑度可以衡量语言模型的不确定性，困惑度越低模型就越有信心产生下一个单词。

而人类评估指标SSA，则是由Google订定，以评估聊天机器人的品质。为了计算SSA，Google找来其他知名的开放领域聊天机器人，并以群众外包的方式测试这些聊天机器人，测试者需要在每次对话后回答“这有意义吗？”以及“是否具体？”两个问题，每个模型的回应都会由测试者标记合理与具体与否，这两个数值的平均值便是SSA。

Meena具有一个编码器模块和13个解码器模块，编码器负责处理对话的上下文，帮助Meena理解对话的内容，而解码器则使用编码器处理过的资讯，产生实际的回应，Google提到，经过他们调校超参数后发现，强大的解码器是提高对话品质的关键。

该模型具有26亿个参数，使用341 GB文本训练，这些文本是从公领域社交媒体对话中过滤出来的资料，与最新产生的OpenAI GPT-2模型相比，Meena的模型大小是OpenAI GPT-2的1.7倍，训练资料量是8.5倍。

经良好训练的Meena模型困惑度为10.2，SSA分数转换为72％，而完整版本的Meena甚至能将SSA分数提升为79％，与人类的86％分数相差不远。用来比较的开放领域聊天机器人，包括Mitsuku、Cleverbot、DialoGPT以及XiaoIce，其SSA分数都与Meena差距甚远，表现较好的Mitsuku和Cleverbot，SSA分数也只有56％。