A Unified Representation Learning Strategy for Open Relation Extraction with Ranked List Loss
5563Authors
nan
Abstract
AbstractOpen Relation Extraction (OpenRE) aiming to extract relational facts from open-domain cor-pora is a sub-task of Relation Extraction and a crucial upstream process for many other NLPtasks. However various previous clustering-based OpenRE strategies either confine themselves to unsupervised paradigms or can not directly build a unified relational semantic space henceimpacting down-stream clustering. In this paper we propose a novel supervised learning frame-work named MORE-RLL (Metric learning-based Open Relation Extraction with Ranked ListLoss) to construct a semantic metric space by utilizing Ranked List Loss to discover new rela-tional facts. Experiments on real-world datasets show that MORE-RLL can achieve excellent performance compared with previous state-of-the-art methods demonstrating the capability of MORE-RLL in unified semantic representation learning and novel relational fact detection.
Keywords
Full Content
中 中 中文 文 文连 连 连动 动 动句 句 句语 语 语义 义 义关 关 关系 系 系识 识 识别 别 别研 研 研究 究 究 孙 孙 孙超 超 超1 , , ,曲 曲 曲维 维 维光 光 光1,2,∗ , , ,魏 魏 魏庭 庭 庭新 新 新2,3 , , ,顾 顾 顾彦 彦 彦慧 慧 慧1 , , ,李 李 李斌 斌 斌2 , , ,周 周 周俊 俊 俊生 生 生1 (1.南京师范大学 计算机与电子信息学院/人工智能学院,江苏省 南京市210023 2.南京师范大学 文学院,江苏省 南京市210097 3.南京师范大学 国际文化教育学院,江苏省 南京市210097 * 通信作者,Email:wgqu nj@163.com) 摘 摘 摘要 要 要 连动句是形如“NP+VP1+VP2”的句子,句中含有两个或两个以上的动词(或动词结 构)且动词的施事为同一对象。相同结构的连动句可以表示多种不同的语义关系。本 文基于前人对连动句中VP1和VP2之间的语义关系分类,标注了连动句语义关系数据 集,基于神经网络完成了对连动句语义关系的识别。该方法将连动句语义识别任务进 行分解,基于BERT进行编码,利用BiLSTM-CRF先识别出连动句中连动词(VP)及其 主语(NP),再基于融合连动词信息的编码,利用BiLSTM-Attention对连动词进行关系 判别,实验结果验证了所提方法的有效性。 关 关 关键 键 键词 词 词: : : 连动结构 ;神经网络 ;连动句语义关系识别 Research on Semantic Relation Recognition of Chinese Serial-verb Sentences SUN Chao1, QU Weiguang1,2,∗, WEI Tingxin2,3, GU Yanhui1, LI Bin2, ZHOU Junsheng1 (1.School of Computer and Electronic Information/School of Artificial Intelligence, Nanjing Normal University,Nanjing, Jiangsu 210023,China; 2.School of Chinese Language and Literature,Nanjing Normal University,Nanjing,Jiangsu 210097,China; 3.International College for Chinese Studies, Nanjing Normal University,Nanjing,Jiangsu 210097,China * Corresponding Author,Email:wgqu nj@163.com) Abstract Serial-verb sentences are those in the form of ”NP+VP1+VP2” which contains two or more verbs (or verb structures) sharing the same agent. Sentences with the same serial-verb structures can express a variety of different semantic relation. Based on the previous works in classification of the semantic relation in consecutive verb sentences, we built a data set of serial verb sentences, and proposed a neural network model for recognition of semantic relation in serial verbs. First,the serial-verb sentences are encoded with Bert. Second, BiLSTM-CRF is used to identify the serial verbs and their subjects. Then, based on the encoded information of fused serial verbs, the relation recognition of serial verbs is implemented using BiLSTM-Attention. The experimental results prove the effectiveness of the proposed method. Keywords: serial-verb structure , neural network , semantic relation recognition of serial-verb sentences c⃝2021 中国计算语言学大会 根据《Creative Commons Attribution 4.0 International License》许可出版 基金项目:国家自然科学基金“汉语抽象意义表示关键技术研究”(61772278);江苏省高校哲学社会科学基金“面 向机器学习的汉语复句语料建设研究”(2019JSA0220);国家社会科学基金“中文抽象语义库的构建及自动分析研 究”(18BYY127)。 CCL 2021 第 二 十 届 中 国 计 算 语 言 学 大 会 论 文 集 , 第 86页 -第 96页 , 呼 和 浩 特 , 中 国 , 2021年 8月 13日 至 15日 。 (c) 2021 中 国 中 文 信 息 学 会 计 算 语 言 学 专 业 委 员 会 计算语言学 1 引 引 引言 言 言 连动结构是由两个或两个以上动词或动词短语构成的结构,且动词或动词短语共享同一个 主语。连动句是包含连动结构的句子,是一种分布范围比较广泛、生命力比较旺盛的句式结 构。连动句表示多个事件,这些事件相互依赖并呈现出语义上的方式、顺承、目的、因果等 关系,相互依赖影响并产生相互关联的事件 (刘雯, 2017)。例如“我去图书馆看书”是一个连动 句,在该句中包含由“我”完成的两个事件,分别是“我去图书馆”和“我看书”。对这两个事件而 言,后一个事件是前一个事件发生的目的,需要先发生前一个动作,才能完成后一个动作。有 效的连动句语义识别有助于自然语言处理中句子级别的语义分析任务和句法解析任务的研究。 抽象语义表示(Abstract Meaning Representation, AMR)是近年来一种新兴的句子级的语 义表示方法,突破了传统的句法树结构的限制,将一个句子语义抽象为一个单根有向无环图。 同时AMR会将缺省的论元进行补全,得到完整的语义表示,很好地解决了论元共享的问题 (曲 维光 et al., 2017)。在连动句中存在着内部概念节点论元共享的现象 (戴茹冰 et al., 2020),即 在单句中多个谓词共享同一论元角色,AMR会将缺省主语的谓词进行补全,同时标注多个谓词 间的语义关系。本文对连动句语义的研究借鉴了AMR 中对连动句语义的标注方法;同时本文 对连动词的语义关系识别研究,也能够帮助中文AMR中连动句式的标注与解析工作。 2 相 相 相关 关 关工 工 工作 作 作 许多语言学家从不同的侧重点对连动结构的语义特征进行了不同的划分。赵元任 (1952)在 《北京口语语法》中将连动式的语义关系分为了六类,(1)时间次序、(2)条件、(3)地点、(4)方 法、(5) 目的、(6) 比较。随后他 (2002)又在《中国话的文法》中把连动结构的语义进行了 进一步的划分,分为十类,除了以上(1)、(3)、(4)、(5)和(6)外还添加了“时间”、“恩惠和好 处”、“手段”、“一般的联系”和“动作加动作”五个类别。丁声树 (1982)等人在《现代汉语语 法讲话》中将连动结构的语义特征分为了五类,包括(a)拿东西次序分先后、(b)条件、(c)对 象、(d)方式、(e) 时间和处所。朱德熙 (1982)在《语法讲义》中也介绍了几种连动结构的语义 特征,如表伴随发生的动作、表目的、表假设、表因果等等。 上世纪的语言学家在连动结构的语义分类方面做了许多的研究工作,既有许多的相同之 处,也存在一些有争议的地方。近年来也有一些研究人员从其他的角度去研究连动句的语义问 题。徐情 (2012) 基于大规模真实文本语料库对现代汉语连动结构的语义结构类型和语义特征进 行了系统的研究,采用了定性和定量相结合、形式和意义相结合的方法,在标注语料库的基础 上,归纳得到了现代汉语连动结构五种特殊的语义结构,体现句法和语义的结合和统一。陈波 等 (2013)针对现有的传统语义分析方法存在的不能很好反映汉语中各个词语或成分之间的语义 关联,提出了基于特征结构的语义标注方法,探讨了连动句的语义标注模型,为面向汉语的自 然语言处理提供了一种不同的语义分析方法。蒋梦娇 (2019)在语义语法学理论的指导下,基于标 注的语料库,重点考察了连动句的词汇语义与句法语义的互动制约关系。在词汇语义和句法语义 两方面对四类连动句V1进行词汇义征分析和句法范畴义征分析,最终建构了关于连动句的词汇 与句法互动制约机制。 基于前人的研究 (邢欣, 1987; 杨月蓉, 1992)和中文AMR语料中连动句的标注规范,本 文将连动词间的语义关系分为时序(temporal)、方式(manner)、并列(and)、目的 (purpose)、因果(cause)、“来”类和“去”类,共7种语义关系,并用“other”来表示两个动 词间不存在连动关系。同时在人工标注的数据集上采用神经网络的方法对连动句语义关系识别 展开研究。 3 连 连 连动 动 动句 句 句语 语 语义 义 义关 关 关系 系 系语 语 语料 料 料标 标 标注 注 注 目前还没有一个公开的、完整的连动句语料库资源,故在前人研究理论的指导下,借鉴中 文AMR的标注规范,本文首先构建了一个连动句的数据集,标注了连动句中的连动词及其主 语,并且标注了连动词间的语义关系。 3.1 连 连 连动 动 动句 句 句中 中 中连 连 连动 动 动词 词 …
Content truncated to 500 words
Labeled Text
AbstractOpen Relation Extraction (OpenRE) aiming to extract relational facts from open-domain cor-pora is a sub-task of Relation Extraction and a crucial upstream process for many other NLPtasks. However various previous clustering-based OpenRE strategies either confine themselves to unsupervised paradigms or can not directly build a unified relational semantic space henceimpacting down-stream clustering. In this paper we propose a novel supervised learning frame-work named MORE-RLL (Metric learning-based Open Relation Extraction with Ranked ListLoss) to construct a semantic metric space by utilizing Ranked List Loss to discover new rela-tional facts. Experiments on real-world datasets show that MORE-RLL can achieve excellent performance compared with previous state-of-the-art methods demonstrating the capability of MORE-RLL in unified semantic representation learning and novel relational fact detection.
Publication Details
- Paper ID:
- 5563
- Year:
- 2021
- Publication:
- TIPSTER
- Publication Type:
- conf
- DOI:
- nan