论文：EnhancedMulti-ChannelGraphConvolutionalNetworkforAspectSentimentTripletExtraction
名词解释
方面情感三元提取（AspectSentimentTripletExtraction，ASTE)是Aspect-basedSentimentAnalysis(ABSA)的一个新变体。ASTE任务旨在从句子中提取方面情感三元组，每个三元组包含三个元素，即方面词、观点词及其情感极性。下图是ASTE任务的一个示例。
图卷积网络(GraphConvolutionalNetworks,GCN)，在图上使用卷积运算……（待补充）
张量（Tensor），它是数字的容器，仅包含一个数字的张量叫作标量（scalar，也叫标量张量、零维张量、0D张量），矩阵是二维张量，张量是矩阵向任意维度的推广［注意，张量的维度（dimension）通常叫作轴（axis）］。
池化函数(PoolingFunction)，在神经网络中，池化函数一般在卷积函数的下一层。在经过卷积层提取特征之后，得到的特征图代表了比像素更高级的特征，已经可以交给分类器进行训练分类了。但是每一组卷积核都生成一副与原图像素相同大小的卷积图。如果使用了多个卷积核还会使得通道数比之前多。所以卷积之后我们需要进行池化，也就是进行降维，以加快运算速度，其实就是采样。两种主要池化方式：最大池化（MaxPooling）、平均池化（AveragePooling），利用一个矩阵窗口在张量上进行扫描，将每个矩阵中的值通过取最大值或者平均值等来减少元素的个数。
一问题
（1）如何利用单词之间的各种关系帮助ASTE任务？
（2）如何利用语言特征来帮助ASTE任务？
基于上述问题提出：增强型多通道图卷积网络模型(EMC-GCN)
首先，利用一个双仿射注意力模块来对句子中单词之间的关系概率分布进行建模，并使用一个向量来表示它，向量中的每个维度对应于某种关系类型，为此，可以从一个句子中推导出一个关系邻接张量。EMC-GCN通过将单词和关系邻接张量分别视为节点和边，将句子转换为多通道图。为了学习单词之间的精确关系，对关系邻接张量施加关系约束。
其次，为了利用语言特征，包括词汇和句法信息，我们获得了句子中每个词对的词性组合、句法依赖类型、基于树的距离和相对位置距离。同样，分别将这些特征转换为多通道图的边，以进一步增强模型。虽然部分语言特征已应用于其他任务（Kouloumpisetal.,2011;Sunetal.,2019;PhanandOgunbona,2020;Lietal.,2021），据我们所知，它们很少用于ASTE任务，探索各种语言特征，以一种新颖的方式将它们适配并应用于ASTE并非易事。
最后，受多标签分类任务中的分类器链方法(Readetal.,2011)的启发，设计了一种有效的精炼策略。在判断词对是否匹配时，我们的策略考虑了方面和观点提取的隐含结果，以进行词对表示的。
二创新点
1）为ASTE任务提出了一种新颖的EMC-GCN模型。EMC-GCN利用多通道图来编码单词之间的关系。多通道图上的卷积函数用于学习关系感知节点表示。
2)提出了一种新方法来充分开发语言特征以增强基于GCN的模型，包括词性组合、句法依赖类型、基于树的距离和每个词对的相对位置距离。
3）提出了一种有效的精炼策略来精炼词对表示。它在检测词对是否匹配时考虑了方面和观点提取的隐含结果。
4)对基准数据集进行了广泛的实验。实验结果表明EMC-GCN模型有效。
三近期研究
Pengetal.,（2020）首先提出ASTE任务，并开发了一个两阶段的管道框架，将方面提取、方面情感分类和观点提取结合在一起。为了进一步探索这项任务，（Maoetal.，2021；Chenetal.，2021a）将ASTE转换为机器阅读理解问题，并利用共享的BERT编码器在多阶段解码后获得三元组。
然而，这些方法都忽略了单词和语言特征之间的关系。
四模型介绍
EMC-GCN框架概述如图2所示。
1任务定义
2关系定义和表格填充
为ASTE定义了单词之间的十种关系。这些关系如table1所示。具体来说，四个关系或标签{B-A,I-A,B-O,I-O}旨在提取方面术语和观点术语。与GTS(Wuetal.,2020a)相比，我们定义的关系在我们的模型中引入了更准确的边界信息。B和I分别表示术语的开头和内部，而-A和-O子标签旨在确定术语的作用，即方面或观点。table1中的A和O关系用于检测由两个不同的词组成的词对是否分别属于同一个方面或观点词。三个情感关系{POS,NEU,NEG}的目标不仅是检测一个词对是否匹配，还要判断方面-观点对的情感极性。因此，可以使用表格填充方法为每个标记的句子构建一个关系表（MiwaandSasaki,2014;Guptaetal.,2016）。如图3，在一个例句中显示了词对及其关系，每个单元格对应一个具有关系的词对。
3三元解码
ASTE任务的解码细节如算法1所示。为简单起见，使用上三角表来解码三元组。首先，仅使用基于主对角线的所有词对（wi，wi）的预测关系，来提取方面项和观点项；其次，判断提取的方面项和观点项是否匹配，计算所有单词对(wi,wj)的预测关系，其中wi∈a和wj∈o，如果预测关系中存在任何情感关系，则认为方面项和观点项是配对的，否则这两个不配对；最后，判断方面-观点对的情感极性，预测最多的情感关系s∈S被视为情感极性。最终，得到一个三元组(a,o,s)。
4EMC-GCN模型
1）输入和编码层
利用BERT作为句子编码器来提取隐藏的上下文表示。给定一个带有n个标记的输入句子X={w1,w2,...,wn}，编码层在最后一个Transformer块处输出隐藏表示序列H={h1,h2,...,hn}。
2）双仿射注意模块
双仿射注意力已被证明在句法依赖解析中有效（DozatandManning，2017），因此利用双仿注意力模块捕获句子中每个词对的关系概率分布。双仿射注意过程被表述为：
（个人觉得公式3到公式4少了说明，怎么就多出来一维m呢，只能猜测是公式3的计算重复了m次……）
使用了多层感知器。分数向量ri,j∈R1×m对wi和wj之间的关系进行建模，m是关系类型的数量，ri,j,k表示词对(wi,wj)的第k个关系类型的分数。邻接张量R∈Rn×n×m对词之间的关系进行建模，每个通道对应一个关系类型。U1、U2和b是可训练的权重和偏差。⊕表示连接。公式(5)是公式（1)-(4)的汇总。
3）多通道GCN
为了对单词之间的各种关系进行建模，EMC-GCN扩展了最原始的GCN，其具有由上述双仿射注意模块构建的多通道邻接张量Rba∈Rn×n×m。邻接张量的每个通道代表表1中定义的单词之间关系的建模。然后，利用GCN沿每个通道为每个节点聚合信息。流程如下：
其中Rba:,:,k∈Rn×n表示Rba的第k个通道切片。Wk和bk是可学习的权重和偏差。σ是一个激活函数（例如，ReLU）。平均池化函数f(·)应用于所有通道的节点隐藏表示。
4）语言特征
为了增强EMC-GCN模型，我们为每个词对引入了四种类型的语言特征，如图4所示，包括词性组合、句法依赖类型、基于树的距离和相对位置距离。一开始随机初始化四个邻接张量，即Rpsc、Rdep、Rtbd和Rrpd，以句法依赖类型特征Rdep为例，为每个词对（wi，wi）添加一个自依赖类型，如果wi和wj之间存在依赖弧，并且依赖类型为nsubj，则通过查找可训练的嵌入表，将Rdepi,j,:初始化为nsubj的嵌入，否则用一个m维零向量初始化Rdepi,j,:。随后，使用这些邻接张量重复图卷积操作以获得节点表示^Hpsc、^Hdep、^Htbd和^Hrpd。最后，分别将平均池化函数和连接操作应用于所有节点表示和所有边，形式为：（我个人觉得公式9表达的不是很准确，按照文字介绍应该是卷积后的内容连接形成R，但是公式这么表达感觉更像是关系表达矩阵直接连接成R，有向作者求证，但是没回我……要是好心人知道一定要告诉我……）
其中H={h1,h2,...,hn}和R={r1,1,r1,2,...,rn,n}表示词对的节点表示和边表示。
5）关系约束
为了精确捕捉单词之间的关系，对从双仿射模块获得的相邻张量施加约束，即：
其中||(·)表示指示函数，yij是词对(wi,wj)的真实值，C表示关系集。同样，对语言特征产生的四个相邻张量施加关系约束。约束代价表示为Lpsc、Ldep、Ltbd和Lrpd。
6）精炼策略和预知层
为了获得用于标签预测的词对(wi,wj)的表示，将它们的节点表示hi、hj和它们的边表示rij连接起来。此外，受多标签分类任务中的分类器链（Readetal.,2011）方法的启发，设计了一种有效的精炼策略，在判断词对是否匹配时考虑方面和观点提取的隐含结果。具体来说，假设wi是方面项中的一个词，wj是观点项中的一个词，那么词对(wi,wj)更有可能被预测为情感关系，即POS、NEU或NEG，否则，它们不太可能匹配。因此，我们引入rii和rjj来精炼词对(wi,wj)的表示sij，即：
最后，我们将词对表示sij输入线性层，然后使用softmax函数生成标签概率分布pij，即：
5损失函数
最小化目标函数：
其中系数α和β用于调整对应关系约束损失的影响。ASTE任务的标准交叉熵损失为Lp，即：
五实验
1数据集
在两个ABSA数据集上评估。这两个数据集来自SemEvalABSA挑战赛(Pontikietal.,2014,2015,2016)。第一个数据集D1来自Wuetal.（2020a）第二个数据集D2由Xuetal.(2020)注释，这是Pengetal(2020)提出的数据集的修正版本。这两组数据集的统计数据如表2所示。
2实验参数设置
使用BERT-base-uncasedversion作为句子编码器。AdamW优化器（Loshchilov和Hutter，2018）用于BERT微调的学习率为2×10-5，其他可训练参数的学习率为10-3。Dropout比例设置为0.5。BERT和GCN的隐藏维数分别设置为768和300。EMC-GCN模型在100个循环中训练，批量大小为16。为了控制关系约束的影响，我们将超参数α和β分别设置为0.1和0.01。请注意，由于提出的关系约束，通道数等于我们定义的关系数，这是不可变的。所有句子都由Stanza(Qietal.,2020)解析。我们保存模型参数根据模型在开发集上的最佳性能。报告的结果是使用不同随机种子的五次运行的平均值。
3实验结果
4模型分析
1消融实验
2精炼策略的影响
精炼策略的目的是促进基于方面和观点提取隐含结果的词对匹配过程。为了验证这个想法，在D2的14rest和14lap上对三种情感关系{POS,NEU,NEG}进行了比较实验。结果如表6所示。请注意，三种情感关系的功能是检测词对是否匹配，并识别方面-观点对的情感极性。结果表明，w/oRefiningStrategy的性能显着下降，该精炼策略与我们期望的一样有效。
3通道可视化
4语言特征可视化
5案例研究
图7给出了一个案例研究。在此示例中，方面词和观点词分别以蓝色和黄色突出显示。红线表示aspectterm和opinionterm匹配，并形成一个带有正面情绪的三元组。GTS-BERT和BMRC很难识别观点术语“轻”，而所有方法都正确预测“easy”，因为“light”比“easy”更远离“transport”。因此，他们忽略了三元组（“transport”、“light”、positive），而EMC-GCN可以精确地提取它。关键因素可能是“light”和“transport”可以通过情感关系和语言特征建立重要的联系。
六总结和未来展望
本文提出了一种用于ASTE任务的EMC-GCN架构。为了利用单词之间的关系，首先设计了一个多通道图结构，用于对每个单词对的不同关系类型进行建模。然后，在所有通道上利用图卷积运算来学习关系感知节点表示。此外，考虑语言特征来增强基于GCN的模型。最后，在EMC-GCN上设计了一种有效的精炼策略，以更好地提取三元组。对基准数据集的广泛实验表明，EMC-GCN模型始终优于所有基准。未来，我们将分析语言特征的作用及其组合的效果。