智能客服机器人应答准确性大幅提升 哥伦比亚大学信息处理实验室与晓多科技合作发表论文

日前，成都晓多科技有限公司与哥伦比亚大学信息处理实验室合作发表论文《Dynamic Updating of the Knowledge Base for a Large-Scale Question Answering System》被ACM Digital Library收录。论文提出了一种针对知识库问答系统的自动学习方案（英文简称：ALKB-QA），它采用了深度学习的方法来解决基于知识库的问答系统在电子商务领域实现大规模高质量的应答所面临的主要问题和挑战，是晓多科技的重要创新成果，也是晓多智能客服机器人的重大进步。

ACM（Association for Computing Machinery，美国计算机学会）创立于1947年，是全球历史最悠久和最大的计算机教育和科研机构。The ACM Digital Library数据库收录了美国计算机协会（Association for Computing Machinery）的各种电子期刊、会议录、快报等文献的全文信息，还可以看到出版物信息。《Dynamic Updating of the Knowledge Base for a Large-Scale Question Answering System》这篇论文内容详实，创造性和落地实用性强。试验数据和真实应用的反馈数据都是其在知识库问答领域的领先性和突破性的最好佐证，该论文为智能机器人的发展提供了优秀的、先进的方案。以上应该是论文被收录的主要原因。

如今，基于知识库的问答系统有望在电子商务领域实现大规模高质量的应答。但这样的知识库问答系统目前面临两个挑战。一是为数以万计的商家提供机器人应答服务时效果很难得以保证；二是知识库自身更新的成本比较高。该论文提出了一种针对知识库问答系统的自动学习方案，采用深度学习的方法来解决上述的两个主要挑战。

基于自动学习方案的知识库问答系统（ALKB-QA system），主要分为离线学习模块和在线服务模块。离线学习模块中，文中提出了一种新的知识库模型——问答知识库（QA-KB），问答知识库（QA-KB）中存储了问答对及商品相关信息与问答对之间存在的错综复杂的关系，方便用于高效准确的检索问答对及相关知识。

另外自动学习方法主要包括处理海量聊天数据获取问答对、用匹配模型对问答对进行价值判别、匹配模型利用反馈进行再次训练与知识库更新这几个步骤。结合针对知识库问答系统提出的自动学习方案，我们能高效的从海量的历史聊天数据中挖掘出的大量的高质量问答对，并将其自动更新到知识库中。

在线服务模块中，主要利用了传统的信息检索技术和深度学习匹配模型，针对买家的问题，先在问答知识库（QA-KB）中检索到相关问答对，将答案作为候选，再用离线学习模块中的匹配模型对候选答案进行相关性排序，最终会将知识库中最相关的答案回复给买家。

论文参与者、晓多科技CEO江岭表示，该论文的数据支撑离不开晓多科技的大数据和实战经验的支持，针对基于自动学习方法的知识库问答系统（ALKB-QA system），我们通过对比实验和线上实际应用反馈进行了一系列的客观评估。据论文参与者刘小洋（目前在美国哥伦比亚大学博士后研究站工作、晓多科技有限公司算法顾问）和廖宇康（晓多科技算法工程师）介绍：在试验环节，我们从一批聊天数据中构造了1801019个问答对，并利用自动学习方法从中筛选出了69079个高质量问答对，通过人工抽样评估，结果表明，相对于一般方法，自动学习方法的准确率（Precision）提升了17%，召回率（Recall）提升了12.5%，综合性能指标F1提升了13.6%。同时，我们将基于自动学习方法的知识库问答系统（ALKB-QA system）应用于商家客服的真实聊天场景，将系统产生的答案用于提示供客服工作人员进行点击采纳。通过60天的数据统计，基于自动学习方法的知识库问答系统（ALKB-QA system）提供的答案的采纳率呈明显的持续上升趋势，而由人工维护的知识库问答系统所提供的的答案的采纳率则无明显变化。

目前，基于自动学习方法的知识库问答系统（ALKB-QA system）已成功运用于晓多智能客服机器人系统中，机器人在辅助客服应答的同时主动地学习客服的回答，通过轻松的点击“审核通过”之后可以更方便的更新知识库中的答案，与逐条配置相比，自动学习功能帮助用户极大的节省配置成本，让商家可以快速的配置出适应自己业务的、专业的晓多智能客服机器人。