分类： 知识问答

摘要

知识库问答（KBQA）的目的是在外部知识库的帮助下回答自然语言问题。其核心思想是找到问题背后的内部知识与知识库中已知三元组之间的联系。传统的KBQA任务piplines包含实体识别、实体链接、答案选择等步骤。在这种pipline方法中，任何过程中的错误都会不可避免地传播到最终的预测。为了解决这一问题，论文提出了一种基于预训练语言模型的语料库生成-检索方法（Corpus Generation – Retrieve Method，CGRM）。主要的创新之处在于新方法的设计。其中，知识增强T5 （kT5）模型旨在基于知识图谱三元组生成自然语言QA对，并通过检索合成数据集直接求解QA。该方法可以从PLM中提取更多的实体信息，提高精度，简化过程。我们在NLPCC-ICCPOL 2016 KBQA数据集上测试了我们的方法，结果表明该方法提高了KBQA的性能，并且与最先进的方法相比具有竞争力。

背景和挑战

问答系统是自然语言处理领域长期以来的研究热点。一个方向是将已有的知识库用于自然语言问题，称为知识库问答（Knowledge Base Question Answering， KBQA）。目前KBQA的主流方法是将当前问句的实体链接到KBQA实体中，利用句子中出现的关系归纳到知识图谱中得到最终答案。目前，KBQA任务主要通过一组分步处理的pipline来解决，包括实体识别、关系抽取、实体链接、答案选择，如图1所示。在应用上述pipline方法时，中途发生的任何错误都会影响到后续所有的pipline链接，从而在很大程度上降低整个KBQA系统的性能。

继续阅读论文笔记：Calculating Question Similarity is Enough: A New Method for KBQA Tasks

论文：https://arxiv.org/pdf/2108.06688.pdf

这篇论文是复杂KBQA方面的一篇综述。介绍了复杂 KBQA 的两大主流方法，即基于语义解析（ semantic parsing-based, SP-based）的方法和基于信息检索（information retrieval-based, IR-based）的方法。从这两个类别的角度回顾了先进的方法并解释了对典型挑战的解决方案。

论文动机

Who is the first wife of TV producer that was nominated for The Jeff Probst Show?

1. 在知识图谱中做多跳推理 (multi-hop reasoning)
2. 考虑题目中给的限制词 (constrained relations)
3. 考虑数字运算的情况 (numerical operations)

知识图谱问答系统思路

1. 实体连接 (entity linking)，识别问题q的主题实体eq，其目的是将问题链接到知识库中的相关实体。在这一步中，进行命名实体识别、消歧和链接。通常使用一些现成的实体链接工具来完成，例如 S-MART、DBpediaSpotlight和 AIDA;
2. 利用答案预测模块来预测答案 Aq。可以采用以下两种方法进行预测:
   • 1. 基于语义解析 (SP-based) 方法：将问题解析为逻辑形式，并针对知识库执行以找到答案;
   • 基于信息检索 (IR-based) 方法：检索特定于问题的图并应用一些Rank算法从顶部位置选择实体。
3. 最后，将 KBQA 预测得到的预测答案 Aq 作为系统输出返回给用户

遇到的挑战

直接将传统知识图谱问答模型运用到复杂问题上，不管是基于语义解析的方法还是信息检索的方法都将遇到新的挑战：

1. 传统方法无法支撑问题的复杂逻辑：
   • 现有的 SP-based 的方法中使用的解析器难以涵盖各种复杂的查询（例如，多跳推理、约束关系和数值运算）。
   • 以前的 IR-based 的方法可能无法回答复杂的查询，因为它们排名是在没有可追溯推理的情况下对小范围实体进行的。
2. 复杂问题包含了更多的实体，导致在知识图谱中搜索空间变大：这两种方法都将问题理解视为首要步骤。当问题在语义和句法方面变得复杂时，模型需要具有强大的自然语言理解和泛化能力。
3. 通常 Complex KBQA 数据集缺少对正确路径的标注：这表明 SP-based 的方法和 IR-based 的方法必须分别在没有正确逻辑形式和推理路径注释的情况下进行训练。这种微弱的监督信号给这两种方法带来了困难。

论文：https://aclanthology.org/2020.acl-main.412.pdf

论文概述

这篇文章结合知识补全的思想来改善知识库问答。通过自然语言理解这个问句并从知识库中寻找正确答案实体。多跳的问答则需要对关系路径进行推理。由于知识库不充分原因，现有的工作引入额外的文本弥补知识库稀疏问题。另外也有工作是通过目标实体从知识库中抽取多跳范围内的子图，在该子图内进行答案的检索。作者认为这是一种启发式的划定答案所在的领域。

稀疏和不完整 KG 中多跳 QA over Knowledge Graphs (KGQA) 的挑战：当寻找对应的答案时，由于知识库不充分，“Louis Mellis”与答案“Crime”没有直接的边相连，则需要经过较长的路径推理。而启发式的设定跳数为3时（灰色区域），使得答案不在这个领域内，促使无法寻找到答案。

本文的贡献点在于：

（1）首次将知识库表征引入知识库问答任务；

（2）不需要启发式地设定具体的领域范围；

整体架构

KG Embedding Module

作者使用ComplEx算法对整个知识库中的实体和边嵌入到固定大小的向量，作者之所以选择ComplEx算法，是因为该算法采用的是张量分解法，更能够捕捉更全面的特征。但在具体实验中，只获取实部的参数。

Question Embedding Module

对于问句 q， 作者使用 RoBERTa 预训练语言模型获得768维度的向量，并通过4层全连接层（激活函数为ReLU）映射到与知识表示相同维度的空间。在微调过程中，作者将问句替换到得分函数中的关系，这是一个比较巧妙的创新点，其借助ComplEx（或者说是知识表示学习的方法）的得分函数 ϕ 和排序损失函数训练的机制，促使目标实体 h和答案 t 之间的语义关系是问句q在复数空间中的表示。因为在有的知识库比较大，候选关系非常多，因此作者使用标签平滑方法。

Answer Selection Module

这一部分是核心，在已知知识图谱表征、每个三元组的得分以及问句的表征后，需要对候选答案进行筛选。对于知识库不大的可以按照上述的方法计算，但对于知识库较大的，则需要对候选的答案集合进行缩减（pruning），作者借鉴了PullNet算法，提出一种简单的缩减方法（Relation Matching）。