前言
论文：https://arxiv.org/pdf/2006.15509.pdf
代码：https://github.com/cliang1453/BOND
摘要
论文研究了远程监督下的开放域命名实体识别（NER）问题。远程监督虽然不需要大量的人工标注，但通过外部知识库产生高度不完整和噪声的远程标签。为应对这一挑战，论文提出一种新的计算框架——BOND，利用预训练语言模型（如BERT和RoBERTa）的力量来提高NER模型的预测性能。具体而言，提出了一种两阶段的训练算法：第一阶段，使用远程标签使预训练语言模型适应NER任务，可以显著提高召回率和准确率；在第二阶段，删除了远程标签，并提出了一种自我训练的方法，以进一步提高模型的性能。在5个基准数据集上的彻底实验表明，BOND比现有的远程监督NER方法具有优越性。
挑战
- 第一个挑战是不完全标注，这是由现有知识库的覆盖率有限造成的。这个问题导致许多实体不匹配，并产生许多假阳性标签，这可能会显著损害后续的NER模型训练。
- 第二个挑战是噪声标注。由于标注的模糊性，标注往往是有噪声的——同一个实体可以映射到知识库中的多种实体类型。例如，实体提到“利物浦”可以映射到知识库中的“利物浦城市”（类型：LOC）和“利物浦足球俱乐部”（类型：ORG）。现有方法采用基于类型流行度的标签归纳方法，可能会导致对流行类型的匹配偏差。因此，它会导致许多假阳性样本，并损害NER模型的性能。
通常在标签精度和覆盖率之间存在权衡：生成高质量的标签需要设置严格的匹配规则，这可能不会对所有标签都很好地泛化，从而降低覆盖率并引入假阴性标签。另一方面，随着标注覆盖率的提高，由于标注歧义性，标注错误的数量也在不断增加。综上所述，生成对目标语料库具有高覆盖率的高质量标签仍然是非常具有挑战性的。
继续阅读论文笔记：BOND: BERT-Assisted Open-Domain Named Entity Recognition with Distant Supervision