Low-Resource Machine Translation based on Asynchronous Dynamic Programming

5585

Authors

nan

Abstract

AbstractReinforcement learning has been proved to be effective in handling low resource machine trans-lation tasks and different sampling methods of reinforcement learning affect the performance ofthe model. The reward for generating translation is determined by the scalability and iteration ofthe sampling strategy so it is difficult for the model to achieve bias-variance trade-off. Therefore according to the poor ability of the model to analyze the structure of the sequence in low-resourcetasks this paper proposes a neural machine translation model parameter optimization method for asynchronous dynamic programming training strategies. In view of the experience priority situa-tion under the current strategy each selective sampling experience not only improves the value ofthe experience state but also avoids the high computational resource consumption inherent in tra-ditional valuation methods (such as dynamic programming). We verify the Mongolian-Chineseand Uyghur-Chinese tasks on CCMT2019. The result shows that our method has improved the quality of low-resource neural machine translation model compared with general reinforcement learning methods which fully demonstrates the effectiveness of our method.

Keywords

nan

Full Content

一 一 一种 种 种新 新 新的 的 的处 处 处理 理 理汉 汉 汉语 语 语动 动 动名 名 名超 超 超常 常 常搭 搭 搭配 配 配的 的 的方 方 方法 法 法∗ 汪 汪 汪梦 梦 梦翔 翔 翔 北京联合大学师范学院,北京 100010 wmx1314-@126.com 摘 摘 摘要 要 要 动名超常搭配由于一般带有成分的省略或隐喻,给中文信息处理带来了难度。以往一 般是通过整体打包进词库的形式来直接处理,而本文的处理思路是对汉语动名超常搭 配进行解构还原的方式来进行处理。具体做法是,依托西方生成词库理论的思想构建 一套专门的汉语词项描述体系,这一知识表示体系可以较为清晰的还原因省略或隐喻 而造成的非常规搭配,进而解读出它们的组合机制和生成过程。然后本文通过补缺和 替换的形式把动名非常规搭配还原为常规性搭配来进行处理。实验表明,这种思路处 理动名超常搭配切实有效。 关 关 关键 键 键词 词 词: : : 超常搭配 ;生成词库论 ;知识库 A New Method for the Processing of Chinese Verb-Noun Anomalous Collocations Mengxiang Wang Teachers’ college of Beijing Union University,Beijing 100010 wmx1314-@126.com Abstract v・イ「Mnッオョ aョッュ。ャッオウ cッャャッ」。エゥッョウ 。イ・ ァ・ョ・イ。ャャケ 。」」ッュー。ョゥ・、 「ケ エィ・ ッュゥウウゥッョ ッイ ュ・エ。ーィッイ ッヲ 」ッューッョ・ョエウL キィゥ」ィ 「イゥョァ 、ゥ.」オャエゥ・ウ エッ エィ・ cィゥョ・ウ・ ーイッ」・ウウゥョァN iョ エィ・ ー。ウエL ゥエ ゥウ ァ・ョ・イ。ャャケ 」ャ。ウウゥ,・、 エィ・ 。ョッュ。ャッオウ 」ッャャッ」。エゥッョウ ゥョエッ エィ・ ャ・クゥ」ッョN wィゥャ・ エィゥウ ー。ー・イ ゥウ エッ 、・」ッョウエイオ」エ ッイ イ・ウエッイ・ エィ・ 。ョッュ。ャッオウ 」ッャャッ」。エゥッョウN fゥイウエャケL キ・ 「オゥャ、 。 ウ・エ ッヲ ウー・」ゥ。ャ キッイ、M、・ウ」イゥーエゥッョ ウケウエ・ュ 「。ウ・、 ッョ エィ・ g・ョ・イ。エゥッョ l・クゥ」ッョ エィ・ッイケN tィゥウ ォョッキャ・、ァ・ イ・ーイ・ウ・ョエ。エゥッョ ウケウエ・ュ 」。ョ イ・ウエッイ・ aョッュ。ャッオウ cッャャッ」。エゥッョウ キィゥ」ィ 」。オウ・、 「ケ ッュゥエエゥョァ ッイ ュ・エ。ーィッイ 。ョ、 ゥョエ・イーイ・エウ エィ・ゥイ 」ッュ「ゥョ。エゥッョ ュ・」ィ。ョゥウュ 。ョ、 エィ・ ァ・ョ・イ。M エゥッョ ーイッ」・ウウN tィ・ョ キ・ イ・ウエッイ・ エィ・ エィ・ 。ョッュ。ャッオウ 」ッャャッ」。エゥッョ エッ ョッイュ。ャ 」ッャャッ」。エゥッョ 「ケ 。、、ゥョァ 。ョ、 イ・ーャ。」ゥョァ ゥョァイ・、ゥ・ョエウ エッ ーイッ」・ウウ ゥエN tィ・ ・クー・イゥュ・ョエ ウィッキウ エィ。エ エィ・ ュ・エィッ、 ゥウ ・+・」エゥカ・ ゥョ エィ・ pイッ」・ウウゥョァ ッヲ cィゥョ・ウ・ v・イ「Mnッオョ aョッュ。ャッオウ cッャャッ」。エゥッョウN Keywords: aョッュ。ャッオウ cッャャッ」。エゥッョ L g・ョ・イ。エゥッョ l・クゥ」ッョ tィ・ッイケ L kョッキャ・、ァ・ b。ウ・ 1 引 引 引言 言 言 我们先看几个例句: a类 HQI两个黄鹂鸣翠柳。(在翠柳上鸣) c⃝2021 中国计算语言学大会 根据《Creative Commons Attribution 4.0 International License》许可出版 基金项目:北京社科基金青年项目(20YYC021) CCL 2021 第 二 十 届 中 国 计 算 语 言 学 大 会 论 文 集 , 第 66页 -第 75页 , 呼 和 浩 特 , 中 国 , 2021年 8月 13日 至 15日 。 (c) 2021 中 国 中 文 信 息 学 会 计 算 语 言 学 专 业 委 员 会 计算语言学 HRI今晚我要赶稿子,就不陪你了。(赶着写稿子) b类 HSI乘帆起航了。(乘船) HTI七连只花了一天功夫就吃掉了敌军。(消灭了敌军) HUI电脑开机后不读硬盘了。(获取信息) 这几个句子划线的部分,它们有个共同特征,就是动词所接的名词宾语按照动词的常规选 择性限制条件(s・ャ・」エゥッョ。ャ r・ウエイゥ」エゥッョ,sr)来说都不是动词的常规宾语,但人们都认可和接 受这种搭配,我们称之为动名超常搭配。动名超常搭配的内部成因和表现形式比较复杂L孙梦询 (RPQR)按照成因归纳出了X类(QN轻动词成因;RN介词省略成因;SN关键信息组合成因;TN种 类高度概括成因;UN古代结构残留;VN 古今词义变迁;WN 对举和用典;XN义场系统成因)。不 过我们从他们的分析再结合总体成因,认为可以归纳为两类现象:省略和隐喻1。其中(Q)、 (R)可以分为一组,因为其中并非是动词直接作用于后接名词,而都含有某种成分的省略:有 的是省略了谓词,有的是省略了介词。比如(Q)句里的动名关系可以理解为动作和场景的关 系,我们可以通过补充介词并进行移位的方式来还原,而不需要改变名词或动词来替换,如|鸣 翠柳B就是|在翠柳上鸣B,此外还有|晒太阳(在太阳下晒)B、|走西口(向西口走)B、|跑资 金(为资金跑)B。这种介词省略型动名超常搭配,传统的语义角色标注方法就可以处理,比 如|鸣翠柳B可以标注为|鸣K地点B。而(R)句虽然|稿子B前是和动词|赶B搭配,但是真正发生 关系的是和缺省的动词|写B,而|赶B和|稿子B是没有语义关系的,因此这类谓词省略型的动名 搭配不适合用现有语义角色标注理论处理,我们需要寻找新的方法。 (S)、(T)、(U)则是另一类,其动因是由隐喻造成的,或者说动词或名词需要替换 成其他相关的词才能符合一般常规的动宾搭配规则,如:(S)的|乘帆(乘船)B是名词发生 隐喻,这样的搭配还有|吃肯德基(吃快餐食品)B、|考鸭蛋(考零分)B;而(T)的|吃掉 敌军(消灭敌军)B是动词发生隐喻,此外还有诸如|挖真相(探求真相)B、|打副手(担任 副手)B、|咀嚼文意(体会文意)B、|品味生活(体验生活)B等;(U)的|读硬盘(获取信 息)B是名词和动词都发生隐喻,我们可以分别进行替换,类似的还有诸如|喝西北风(收获了 没用的东西)B、|捞油水(获得好处)B、|吃老本(依靠基础)B。 这些超常搭配不仅是在实际语料中尤其是歌词和诗词中普遍存在,而且在句法分析中也经 常出现,因为句法分析的核心是抽取核心动词和其搭配成分,这期间由于信息的缺省往往会造 成动词和所搭配成分间形成超常搭配(如|哥抽的是寂寞B中核心是超常搭配|抽寂寞B)。本文 就是想为这些常见超常搭配提出一种新的处理思路和方法。 2 相 相 相关 关 关研 研 研究 究 究及 及 及数 数 数据 据 据来 来 来源 源 源 动名搭配的分析和处理一直是关系到句法分析和语义提取的重要环节,通常我们主要关 注符合语法规则的常规搭配。实际上,语言中还存在着大量|语法上符合规则而语义上不符合 常规认知的超常搭配现象B,而这样的现象与语言的隐喻表达和省略思维有着密切的联系L对自 然语言理解将产生重要的影响。对于动宾超常搭配,长期以来学界基本遵循着|大词库、小语 法B的思想,也就是不管是省略式还是隐喻式,都是把这些非常规的搭配固化成词汇进行收录。 这种方式,从工程角度讲,确实简单有效。但是这样一来,一方面我们被迫需要构造越来越大 的词库,另一方面其搭配结构内部的生成机制和描写规则仍然得不到解决,从而导致句法语义 分析技术长期停滞不前。RP世纪YP年代美国计算语言学家pオウエ・ェッカウォケ (QYYU)提出了针对超常 搭配问题的生成词库理论(g・ョ・イ。エゥカ・ l・クゥ」ッョ tィ・ッイケ,glt),开始通过针对性的描述词项 的语义知识(主要从词语的物性角色来描述本体概念)来达到还原和处理超常搭配的目的。比 如针对英语出现的|「・ァゥョ エィ・ ョッカ・ャB,pオウエ・ェッカウォケ通过描述|ョッカ・ャB的物性角色特征来为短语中 所省略的成分圈定可选范围。(比如,|ョッカ・ャB 的功能角色有|イ・。、B,施成角色有|キイゥエ・B,那 么|「・ァゥョ エィ・ ョッカ・ャB省略的部分在|エッ イ・。、B或|エッ キイゥエ・B范围内选择)2。 1这里的省略和隐喻是广义的说法。省略有时候和隐含纠结,汉语学界曾经把它和隐含做过区分,吕叔湘 (1979)指出必须可以添补才叫省略,类似“你一言,我一语”这种只能称为谓词隐含。而隐喻有时候和借代纠结, 比如“考了个鸭蛋”和“吃肯德基”这里的“鸭蛋”借代“零分”,“肯德基”借代“西式快餐”,因为没有比喻的性质。本文 对这些概念不做区分,只要是有成分缺省的,不管是否能添补都称之为省略;只要是出现语义映射关联,需要借助 替换概念来帮助理解的都看做是隐喻。 2功能角色和施成角色都是物性角色的一种。Pustejovsky 当初把物性角色分为四类,即是:形式角色(回答词 项是什么的问题)、构成角色(回答词项由什么组成的问题)、功能角色(回答词项能干什么的问题)、施成角色 (回答词项怎么产生的问题)。而且他指出一般谓词隐含的超常搭配,其省略的谓词多为功能角色或施成角色。 CCL 2021 第 二 十 届 中 国 计 算 语 言 学 大 会 论 文 集 , 第 66页 -第 75页 , 呼 和 浩 特 , 中 国 , 2021年 8月 13日 至 15日 。 (c) 2021 中 国 中 文 信 息 学 会 计 算 语 言 学 专 业 委 员 会 计算语言学 生成词库理论的出现为搭配问题的深入处理提供了新的思路,把超常搭配的处理过渡到词 语知识表示和描述的建设当中。这也为我们处理汉语动名超常搭配提供了借鉴,但是他所构建 的知识表示方式对汉语很多隐喻型的超常搭配就解构不了。(比如,|喝西北风B、|抽寂寞B所 隐含的信息,在以往的四种物性角色中都没有涉及,按照pオウエ・ェッカウォケ(RPPV)更新的知识描述 方法,无法还原|喝西北风B这类隐喻型的超常搭配)。 目前国内对动名超常搭配的处理可以说大部分都集中于超常搭配的识别(主要是隐 喻),对动名搭配的认识还不够全面,而且较少涉及到超常搭配识别后的理解和处理。黄 洁(RPPY)、吴琼(RPQT)认为动名超常搭配是因隐喻而产生,不是动词就是名词发生有 隐喻导致。对于隐喻的处理,学者多依托l。ォッ+(QYXP)的概念隐喻理论,他们认为,隐喻 (ュ・エ。ーィッイ)是两个概念之间的特征映射,两个概念能达成映射,必须具有类比关系,也即是 相似性;通过相似性,我们可以把某个事物的特征映射到另一个事物身上,从而找到一种相 关。基于这一理论思想,我们对隐喻的处理就落在描述两个概念的相似性和解读两个概念的语 义关联上了。目前在隐喻计算方面很多人都是基于这种思路,比如z。」ィ。イケ jNm。ウッョ(RPPT) 所构建的cッイm・エ系统,戴帅湘(RPPU)隐喻形式化方法,王治敏(RPPX、RPPY)的汉语名词隐 喻识别策略,李剑锋(RPPX)的隐喻识别模型研究都来源于概念隐喻理论,不同的是他们在提 取隐喻实体和知识获取的方式和方法上有所差别。对于隐喻的判别学界一般利用语义选择限 制条件来判断,wゥャォ早在QYWU年就以违反语义选择限制作为隐喻的判定条件,只不过语义选择 限制需要依托一定量级的语义知识。国内贾玉祥(RPQQ)就是从人民日报中提取动词的语义 选择限制条件来判断隐喻。不过目前学界主流识别方法一般基于机器学习,主要代表如张威 (RPPT)、游维(RPPW)、杨芸(RPPX)、白振凯(RPQV)等。王贵荣(RPRQ)依托大规模标 记语库来从常规搭配对中发现偏离值进而识别隐喻。还有一部分学者依托相当规模的知识库中 的语义分类,通过构建语义映射库的方式来进行,如王金锦(RPPY)。虽然该方法基本思路是 通过构建语义知识库的方式来进行隐喻识别,但和本文在语言知识描述的维度和方式上有所不 同。 我们处理汉语动名超常搭配的总体思路也是基于构建语义知识库的形式,利用一些词项 特征,根据省略型和隐喻型超常搭配内部不同的形成机制进行针对性处理。另外,本文在 构建汉语生成词库过程中借鉴了北大的《语法信息词典》Hgイ。ュュ。エゥ」。ャ kョッキャ・、ァ・Mb。ウ・ ッヲ cッョエ・ューッイ。イケ cィゥョ・ウ・,gkbI、中文概念词典Hcィゥョ・ウ・ cッョ」・ーエ dゥ」エゥッョ。イケ,ccdI和|汉语名 词物性结构知识库B的部分特征,并结合自身已有前期研究成果,构建了汉语生成词库Hcィゥョ・ウ・ g・ョ・イ。エゥカ・ l・クゥ」ッョL 简称cglI,通过知识库词项特征的叠加来生成有针对性的、能够解构超常 搭配的语义知识,从而完成动名超常搭配的识别和处理。 3 面 面 面向 向 向动 动 动名 名 名超 超 超常 常 常搭 搭 搭配 配 配处 处 处理 理 理的 …

Content truncated to 500 words

Labeled Text

AbstractReinforcement learning has been proved to be effective in handling low resource machine trans-lation tasks and different sampling methods of reinforcement learning affect the performance ofthe model. The reward for generating translation is determined by the scalability and iteration ofthe sampling strategy so it is difficult for the model to achieve bias-variance trade-off. Therefore according to the poor ability of the model to analyze the structure of the sequence in low-resourcetasks this paper proposes a neural machine translation model parameter optimization method for asynchronous dynamic programming training strategies. In view of the experience priority situa-tion under the current strategy each selective sampling experience not only improves the value ofthe experience state but also avoids the high computational resource consumption inherent in tra-ditional valuation methods (such as dynamic programming). We verify the Mongolian-Chineseand Uyghur-Chinese tasks on CCMT2019. The result shows that our method has improved the quality of low-resource neural machine translation model compared with general reinforcement learning methods which fully demonstrates the effectiveness of our method.

Publication Details

Paper ID:
5585
Year:
2021
Publication:
TIPSTER
Publication Type:
conf
DOI:
nan