月度归档： 2022 年 11 月

论文笔记：RNG-KBQA: Generation Augmented Iterative Ranking for Knowledge Base Question Answering

论文：https://arxiv.org/pdf/2109.08678.pdf

整体架构

Enumeration of Candidates

实体识别和实体链接

Logical Form Ranking

排名器是基于BERT双编码器（以输入问题-候选对作为输入）经过训练，以最大限度地提高基本事实逻辑形式的分数，同时最大限度地减少不正确候选者的分数。

扩展了提出的逻辑形式排序器，保持架构和逻辑相同，用于实体消歧任务，并展示其作为第二阶段实体排序器的有效性。

Target Logical Form Generation

有了候选的排名列表，引入了一个生成模型来组成以问题为条件的最终逻辑形式和我们的排名器返回的前 k 个逻辑形式。 生成器是从 Raffel 等人实例化的基于转换器的 seq-to-seq 模型，因为它在生成相关任务中表现出强大的性能。 如图所示，通过连接问题和由分号分隔的排名器返回的前 k 个候选者（即 [x; ct1; …; ctk]）来构建输入。

GRAILQA 是第一个评估零样本泛化的数据集。 具体来说，GRAILQA 总共包含 64,331 个问题，并仔细拆分数据，以评估 KBQA 任务中的三个泛化级别，包括 i.i.d. 设置、构图设置（泛化到看不见的构图）和零镜头设置（泛化到看不见的 KB 模式）。 我们在图中展示了组合泛化（ compositional generalization ）和零样本泛化（ zero-shot generalization）的示例。测试集中每个设置的分数分别为 25%、25% 和 50%。 除了泛化挑战之外，GRAILQA 还存在额外的困难，包括大量涉及的实体/关系、逻辑形式的复杂组合性（最多 4 跳）以及问题中提到的实体的噪声。

论文笔记：Complex Knowledge Base Question Answering: A Survey

论文：https://arxiv.org/pdf/2108.06688.pdf

这篇论文是复杂KBQA方面的一篇综述。介绍了复杂 KBQA 的两大主流方法，即基于语义解析（ semantic parsing-based, SP-based）的方法和基于信息检索（information retrieval-based, IR-based）的方法。从这两个类别的角度回顾了先进的方法并解释了对典型挑战的解决方案。

论文动机

Who is the first wife of TV producer that was nominated for The Jeff Probst Show?

  1. 在知识图谱中做多跳推理 (multi-hop reasoning)
  2. 考虑题目中给的限制词 (constrained relations)
  3. 考虑数字运算的情况 (numerical operations)

知识图谱问答系统思路

  1. 实体连接 (entity linking)，识别问题q的主题实体eq，其目的是将问题链接到知识库中的相关实体。在这一步中，进行命名实体识别、消歧和链接。通常使用一些现成的实体链接工具来完成，例如 S-MART、DBpediaSpotlight和 AIDA;
  2. 利用答案预测模块来预测答案 Aq。可以采用以下两种方法进行预测:
      1. 基于语义解析 (SP-based) 方法：将问题解析为逻辑形式，并针对知识库执行以找到答案;
    • 基于信息检索 (IR-based) 方法：检索特定于问题的图并应用一些Rank算法从顶部位置选择实体。
  3. 最后，将 KBQA 预测得到的预测答案 Aq 作为系统输出返回给用户

遇到的挑战

直接将传统知识图谱问答模型运用到复杂问题上，不管是基于语义解析的方法还是信息检索的方法都将遇到新的挑战：

  1. 传统方法无法支撑问题的复杂逻辑：
    • 现有的 SP-based 的方法中使用的解析器难以涵盖各种复杂的查询（例如，多跳推理、约束关系和数值运算）。
    • 以前的 IR-based 的方法可能无法回答复杂的查询，因为它们排名是在没有可追溯推理的情况下对小范围实体进行的。
  2. 复杂问题包含了更多的实体，导致在知识图谱中搜索空间变大：这两种方法都将问题理解视为首要步骤。当问题在语义和句法方面变得复杂时，模型需要具有强大的自然语言理解和泛化能力。
  3. 通常 Complex KBQA 数据集缺少对正确路径的标注：这表明 SP-based 的方法和 IR-based 的方法必须分别在没有正确逻辑形式和推理路径注释的情况下进行训练。这种微弱的监督信号给这两种方法带来了困难。

论文笔记：improving-multi-hop-question-answering-over-knowledge-graphs-using-knowledge-base-embeddings

论文：https://aclanthology.org/2020.acl-main.412.pdf

论文概述

这篇文章结合知识补全的思想来改善知识库问答。通过自然语言理解这个问句并从知识库中寻找正确答案实体。多跳的问答则需要对关系路径进行推理。由于知识库不充分原因，现有的工作引入额外的文本弥补知识库稀疏问题。另外也有工作是通过目标实体从知识库中抽取多跳范围内的子图，在该子图内进行答案的检索。作者认为这是一种启发式的划定答案所在的领域。

稀疏和不完整 KG 中多跳 QA over Knowledge Graphs (KGQA) 的挑战：当寻找对应的答案时，由于知识库不充分，“Louis Mellis”与答案“Crime”没有直接的边相连，则需要经过较长的路径推理。而启发式的设定跳数为3时（灰色区域），使得答案不在这个领域内，促使无法寻找到答案。

本文的贡献点在于：

（1）首次将知识库表征引入知识库问答任务；

（2）不需要启发式地设定具体的领域范围；

整体架构

KG Embedding Module

作者使用ComplEx算法对整个知识库中的实体和边嵌入到固定大小的向量，作者之所以选择ComplEx算法，是因为该算法采用的是张量分解法，更能够捕捉更全面的特征。但在具体实验中，只获取实部的参数。

Question Embedding Module

对于问句 q， 作者使用 RoBERTa 预训练语言模型获得768维度的向量，并通过4层全连接层（激活函数为ReLU）映射到与知识表示相同维度的空间。在微调过程中，作者将问句替换到得分函数中的关系，这是一个比较巧妙的创新点，其借助ComplEx（或者说是知识表示学习的方法）的得分函数 ϕ 和排序损失函数训练的机制，促使目标实体 h和答案 t 之间的语义关系是问句q在复数空间中的表示。因为在有的知识库比较大，候选关系非常多，因此作者使用标签平滑方法。

Answer Selection Module

这一部分是核心，在已知知识图谱表征、每个三元组的得分以及问句的表征后，需要对候选答案进行筛选。对于知识库不大的可以按照上述的方法计算，但对于知识库较大的，则需要对候选的答案集合进行缩减（pruning），作者借鉴了PullNet算法，提出一种简单的缩减方法（Relation Matching）。