我们的模型
我们改进后的gplinker模型如上图所示,我们做了如下改进:
● 我们在bert层后面新增了一层adaTransformer,adaTransformer可以更好的融入上下文信息。
● 我们新增了一个关系分类器,由于webnlg数据集多大170个关系类型,我们增加关系分类器,可以提高关系抽取的精确率,同时也增加了一个MOG_LSTM层,可以更好的将bert的信息融入。
● 对于关系分类器,我们没有采用最传统的二进制交叉熵损失函数,而是采用了和gpointer一样的多标签分类交叉熵损失函数,我们的实验证明,多标签交叉熵损失函数可以很好的解决类别不平衡的问题。
gplinker
ADA_transformer
tener的论文:https://arxiv.org/pdf/1911.04474
这部分公式试着用谷歌翻译,自己翻译一下论文3.2节
global pointer
上图是global pointer识别嵌套实体的过程,
将单目标多分类交叉熵推广到多标签分类损失函数,适用于总类别数很大、目标类别数较小的多标签分类问题。对于 GlobalPointer,就为: