中文题目：文本信息增强的小样本关系抽取
论文题目：ContextualInformationAugmentedFew-ShotRelationExtraction
录用期刊/会议：InternationalConferenceonKnowledgeScience,EngineeringandManagement(CCFC类)
封面图片：
封面摘要：
本论文由王智广老师团队完成，被收录在KSEM2023会议上。
作者列表：
1）王天中国石油大学（北京）信息科学与工程学院计算机科学与技术专业硕21
2）王智广中国石油大学（北京）信息科学与工程学院计算机系教师
3）王荣亮中国石油大学（北京）信息科学与工程学院计算机科学与技术专业硕21
4）刘大伟中国石油勘探开发研究院高级工程师
5）鲁强中国石油大学（北京）信息科学与工程学院计算机系教师
摘要:
小样本关系抽取（Few-ShotRelationExtraction，FSRE）是一种在极少量已标注样本的基础上进行的关系抽取任务。近些年的一些研究介绍了在原型网络上使用句子信息进行的关系抽取的方法。但是，大多数方法并没有对句子信息有足够的重视。为了更好地利用句子信息进行小样本关系抽取的研究，我们提出了一种基于大量关系信息的句子增强方法，并将新生成的句子用于小样本关系抽取中。同时，我们考虑到目前小样本关系抽取的设定过于理想，我们在每个任务中增加了一个“NoneofAbove”类型作为一个新类型，以加强模型对相似关系的分类能力。在数据集FewRel上的实验结果表明，我们的方法在三种小样本关系抽取任务上都取得了最好的效果。
背景与动机:
主要内容:
基于关系信息的句子增强
图1.基于关系信息的数据增强方法
严格来说，通过上述方法得到的新句子并不是”正确“的句子，例如对于句子"However,in1992,then-ownerAamulehtisoldPohjalainentoIlkka."，其头实体和尾实体分别是"Pohjalainen"和"Ilkka"，关系是"ownedby"，通过上述方法得到的新句子"PohjalainenownedbyIlkka."在语法上是错误的，缺少动词"is"，但是人类在大量阅读的前提下是完全可以理解其表达含义的。为了使得到的新句子不出现严重的语法错误，我们在实体和关系信息之间增加"[MASK]"来替代实体和关系之间的连接单词，这样得到的新句子就好像是由一个正确完整的句子通过使用"[MASK]"遮挡了除实体和关系信息之外的词汇而得到的句子。同时为了使句子的结构统一并保持句子的较高的信息含量（实际有意义的单词占句子总词汇的比例），我们使用一个"[MASK]"来替代实体和关系信息之间的连接词。最后以此作为新句子的句式结构。
但是对于查询集中的句子来说，该方法无法使用。
关系原型表示
关系原型表示的获取与句子关系抽取流程见图2。本节详细介绍关系原型表示的获取，即图2的浅灰色框部分。
图2.关系原型表示的获取与关系抽取
首先使用上述文本数据增强方法得到新的句子集合，然后使用句子编码器得到相应的句子编码，抽取出其中的实体信息表示，加权平均得到最终的句子信息原型表示和实体信息原型表示。本文采用一种直接相加的方法得到支持据句子最终的关系表示。
但是对于查询集来说，在一次小样本关系抽取任务中，其句子数量确定，即只有一个句子。因此本文直接使用实体信息表示作为最终的关系原型表示。
损失函数
在N-way-K-shotFSRE中，每次都有N种关系，而且默认查询集中的句子关系在这N种关系中。这样的任务假设过于理想化，因为在实际关系抽取任务中，还存在查询集中的句子关系不在这N种关系中的情况。为了使我们的方法具有较强的泛化性，本文在N-way-K-shot任务的基础上增加了一个未知关系“NoneofAbove”作为第N+1种关系，同时为了增加模型对于相似关系的区分度，我们从之前已有的N种关系种派生出第N+1种关系并得到其原型表示：
在增加了第N+1种关系后，本文对交叉熵损失函数进行了修改，以适应新增的第N+1种关系：
是交叉熵损失函数，p是实际结果，q是预测结果数组。
最终的损失函数如下：
实验结果及分析:
表1.实验结果
结论:
在本文中，我们提出了一种基于关系信息的句子增强方法，通过使用该方法，可以快速有效地生成一系列句子结构相同且无用信息较少的高质量句子样本。同时我们在原型网络的基础上，通过使用实体信息和句子信息直接相加的方法获取关系的原型表示并将其用于FSRE。最后考虑到现有-way--shot的任务设定过于理想，我们在-way--shot的基础上增加了“NoneofAbove”作为第种关系，并修改了损失函数以适应这种修改。实验表明，我们的方法在三种小样本关系抽取任务上都取得了最好的效果。
通讯作者简介:
王智广，男，博士，教授，博士生导师，北京市教学名师。中国计算机学会（CCF）高级会员，全国高校实验室工作研究会信息技术专家指导委员会委员，全国高校计算机专业（本科）实验教材与实验室环境开发专家委员会委员，北京市计算机教育研究会常务理事。长期从事分布式并行计算、三维可视化、计算机视觉、知识图谱方面的研究工作，主持或承担国家重大科技专项子任务、国家重点研发计划子课题、国家自然科学基金、北京市教委科研课题、北京市重点实验室课题、地方政府委托课题以及企业委托课题20余项，在国内外重要学术会议和期刊上合作发表学术论文70余篇，培养了100余名硕士博士研究生。