Reusable Phrase Extraction Based on Syntactic Parsing

面 面 面向 向 向汉 汉 汉语 语 语作 作 作为 为 为第 第 第二 二 二语 语 语言 言 言学 学 学习 习 习的 的 的个 个 个性 性 性化 化 化语 语 语法 法 法纠 纠 纠错 错 错 张 张 张生 生 生盛 盛 盛1,3, 庞 庞 庞桂 桂 桂娜 娜 娜2,3, 杨 杨 杨麟 麟 麟儿 儿 儿2,3, 王 王 王辰 辰 辰成 成 成4,3, 杜 杜 杜永 永 永萍 萍 萍4, 杨 杨 杨尔 尔 尔弘 弘 弘3, 黄 黄 黄雅 雅 雅平 平 平1 1北京交通大学，计算机与信息技术学院 2北京语言大学，信息科学学院 3北京语言大学，语言资源高精尖创新中心 4北京工业大学，信息学部 摘 摘 摘要 要 要 语法纠错任务旨在通过自然语言处理技术自动检测并纠正文本中的语序、拼写等语法 错误。当前许多针对汉语的语法纠错方法已取得较好的效果，但往往忽略了学习者的 个性化特征，如二语等级、母语背景等。因此，本文面向汉语作为第二语言的学习 者，提出个性化语法纠错，对不同特征的学习者所犯的错误分别进行纠正，并构建了 不同领域汉语学习者的数据集进行实验。实验结果表明，将语法纠错模型适应到学习 者的各个领域后，性能得到明显提升。 关 关 关键 键 键词 词 词： ： ： 语法纠错 ；个性化 ；汉语学习者 ；领域适应 Personalizing Grammatical Error Correction for Chinese as a Second Language Shengsheng Zhang1,3, Guina Pang2,3, Liner Yang2,3, Chencheng Wang4,3, Yongping Du4, Erhong Yang3, Yaping Huang1 1Beijing Jiaotong University, School of Computer and Information Technology 2Beijing Language and Culture University, School of Information Science 3Beijing Language and Culture University, Beijing Advanced Innovation Center for Language Resources 4Beijing University of Technology, Faculty of Information Technology Abstract 孔孨孥 孇孲孡孭孭孡孴孩季孡孬 孅孲孲孯孲 孃孯孲孲孥季孴孩孯孮 嬨孇孅孃嬩 孴孡孳孫 孩孳 孴孯 孲孥孡孬孩孺孥 孡孵孴孯孭孡孴孩季 孥孲孲孯孲 孤孥孴孥季孴孩孯孮 孡孮孤 季孯孲孲孥季孴孩孯孮 孯学 孴孥學孴 孴孨孲孯孵孧孨 孮孡孴孵孲孡孬 孬孡孮孧孵孡孧孥 孰孲孯季孥孳孳孩孮孧 孴孥季孨孮孯孬孯孧孹嬬 孳孵季孨 孡孳 孷孯孲孤 孯孲孤孥孲嬬 孳孰孥孬孬孩孮孧 孡孮孤 孯孴孨孥孲 孧孲孡孭孭孡孴孩季孡孬 孥孲孲孯孲孳嬮 孍孡孮孹 孥學孩孳孴孩孮孧 孃孨孩孮孥孳孥 孇孅孃 孭孥孴孨孯孤孳 孨孡孶孥 孡季孨孩孥孶孥孤 孧孯孯孤 孲孥孳孵孬孴孳嬬 孢孵孴 孴孨孥孳孥 孭孥孴孨孯孤孳 孨孡孶孥 孮孯孴 孴孡孫孥孮 孩孮孴孯 孡季季孯孵孮孴 孴孨孥 季孨孡孲嬭 孡季孴孥孲孩孳孴孩季孳 孯学 孬孥孡孲孮孥孲孳嬬 孳孵季孨 孡孳 孬孥孶孥孬嬬 孮孡孴孩孶孥 孬孡孮孧孵孡孧孥 孡孮孤 孳孯 孯孮嬮 孔孨孥孲孥学孯孲孥嬬 孴孨孩孳 孰孡孰孥孲 孰孲孯孰孯孳孥孳 孴孯 孰孥孲孳孯孮孡孬孩孺孥 孴孨孥 孇孅孃 孭孯孤孥孬 孴孯 孴孨孥 季孨孡孲孡季孴孥孲孩孳孴孩季孳 孯学 孃孨孩孮孥孳孥 孡孳 孡 孓孥季孯孮孤 孌孡孮孧孵孡孧孥 嬨孃孓孌嬩 孬孥孡孲孮孥孲孳 孡孮孤 季孯孲孲孥季孴 孴孨孥 孭孩孳孴孡孫孥孳 孭孡孤孥 孢孹 孃孓孌 孬孥孡孲孮孥孲孳 孷孩孴孨 孤孩嬋孥孲嬭 孥孮孴 季孨孡孲孡季孴孥孲孩孳孴孩季孳嬮 孔孯 孶孥孲孩学孹 孯孵孲 孭孥孴孨孯孤嬬 孷孥 季孯孮孳孴孲孵季孴 孤孯孭孡孩孮 孡孤孡孰孴孡孴孩孯孮 孤孡孴孡孳孥孴孳嬮 孅學孰孥孲孩孭孥孮孴 孲孥孳孵孬孴孳 孯孮 孴孨孥 孤孯孭孡孩孮 孡孤孡孰孴孡孴孩孯孮 孤孡孴孡孳孥孴孳 孤孥孭孯孮孳孴孲孡孴孥 孴孨孡孴 孴孨孥 孰孥孲学孯孲嬭 孭孡孮季孥 孯学 孴孨孥 孇孅孃 孭孯孤孥孬 孩孳 孧孲孥孡孴孬孹 孩孭孰孲孯孶孥孤 孡学孴孥孲 孡孤孡孰孴孩孮孧 孴孯 孶孡孲孩孯孵孳 孤孯孭孡孩孮孳 孯学 孃孓孌 孬孥孡孲孮孥孲孳嬮 Keywords: 孇孲孡孭孭孡孴孩季孡孬 孅孲孲孯孲 孃孯孲孲孥季孴孩孯孮 嬬 子孥孲孳孯孮孡孬孩孺孩孮孧 嬬 孃孨孩孮孥孳孥 孡孳 孡 孓孥季孯孮孤 孌孡孮孧孵孡孧孥 孌孥孡孲孮孥孲孳 嬬 孄孯孭孡孩孮 孁孤孡孰孴孡孴孩孯孮 CCL 2020 第十九届中国计算语言学大会论文集，第97页- 第106页，海南，中国，2020年10月30日至11月1日。 ( c) 2020 中国中文信息学会计算语言学专业委员会 计算语言学 1 引 引 引言 言 言 语法纠错嬨孇孲孡孭孭孡孴孩季孡孬 孅孲孲孯孲 孃孯孲孲孥季孴孩孯孮嬬 孇孅孃嬩任务旨在自动检测文本中存在的标点、语 序等语法错误，识别错误的类型并对错误进行自动改正。语法纠错系统的输入是一个可能有语 法错误的句子，输出是其相应的修改后的句子。如图嬱所示，第一行表示系统的输入，第二行表 示系统的输出，其中加粗部分表示修改的内容。随着人工智能越来越深入地影响人们的日常生 活，而自然语言处理作为语言学和计算机学科完美融合的一个学科，在人工智能领域扮演着重 要的角色。语法纠错任务是自然语言处理领域的一个重要分支，不论是在实际生活还是科研领 域都有着举足轻重的地位，吸引了大量的研究者。 输入：虽然不能完整的解决代沟的问题，但能减少代沟之宽度。 输出：虽然不能彻底地解决代沟的问题，但能缩短代沟之距离。 图 嬱嬮 语法纠错系统的输入输出示例 孌孥孥 孡孮孤 孓孥孮孥嬋 嬨嬲嬰嬰嬸嬩发现，二语学习者犯的语法错误经常受他们的母语因素的影响。 例如，母语是日语且把英语作为第二语言的学习者常滥用冠词和介词。对母语是日语的二 语学习者常犯的这类错误建模，可以有效地提高语言学习系统的性能。许多基于深度学习 的方法 嬨孃孨孯孬孬孡孭孰孡孴孴 孡孮孤 孎孧嬬 嬲嬰嬱嬸嬻 孊孵孮季孺孹孳嬭孄孯孷孭孵孮孴 孥孴 孡孬嬮嬬 嬲嬰嬱嬸嬩将语法纠错视为序列到序 列嬨孳孥孱嬲孳孥孱嬩的任务，因此神经机器翻译嬨孎孥孵孲孡孬 孍孡季孨孩孮孥 孔孲孡孮孳孬孡孴孩孯孮嬬 孎孍孔嬩的方法被成功地运 用到语法纠错中，通过将一个错误的句子翻译为正确的句子来实现纠错，并且在一般的领域 获得了很好的性能。但是这些基于孳孥孱嬲孳孥孱的方法在特定的领域并不能获得鲁棒的性能，其主 要原因是并未对特定的领域建模从而出现了领域漂移的现象。例如，孎孡孤孥孪孤孥 孡孮孤 孔孥孴孲孥孡孵孬孴 嬨嬲嬰嬱嬹嬩使用一般领域训练的模型在特定领域做测试，发现性能明显下降。进而他们将语法纠错 模型适应到英语作为第二语言的学习者的母语和等级上，发现语法纠错系统的性能得到了明显 的提升。但是，当前针对汉语的语法纠错方法 嬨孒孥孮 孥孴 孡孬嬮嬬 嬲嬰嬱嬸嬻 孆孵 孥孴 孡孬嬮嬬 嬲嬰嬱嬸嬻 孚孨孯孵 孥孴 孡孬嬮嬬 嬲嬰嬱嬸嬻 孚孨孡孯 孡孮孤 字孡孮孧嬬 嬲嬰嬲嬰嬩都集中在一般的领域，并未对特定的领域建模。由于汉语语法与英 语语法不同，汉语水平考试的等级与英语水平考试的等级评判标准不一致，二者之间没有直接 的联系，故本文面向汉语作为第二语言的学习者，提出个性化语法纠错，通过迁移学习方法将 一般的语法纠错系统适应到汉语学习者不同的领域，如汉语学习者的等级、母语等，并对不同 等级、不同母语的汉语学习者犯的错误分别进行纠正。 为验证提出的方法是否合理，首先，本文选择汉语学习者的等级和母语作为领域适应的设 置，并构建了不同领域汉语学习者的数据集。然后，本文将语法纠错任务视为翻译任务，通过 将一个错误的句子翻译为正确的句子实现纠错，并选择基于孔孲孡孮孳学孯孲孭孥孲增强架构的中文语法 纠错模型 嬨王辰成孥孴 孡孬嬮嬬 嬲嬰嬱嬹嬩作为实验模型。最后，在不同领域的数据集上展开了实验，将一 般的语法纠错系统适应到相应的领域，并对不同领域的汉语学习者所犯的错误分别进行纠错。 实验结果表明，语法纠错模型适应到学习者的各个领域后，纠错性能得到显著的提升。其中， 学习者等级领域适应模型、母语领域适应模型以及母语嬭等级领域适应模型分别比基线模型高 出嬱嬮嬹嬲、嬱嬮嬷嬳、嬱嬮嬷嬶个百分点。 本文的主要贡献如下： 嬱嬩 首次提出面向汉语作为第二语言学习的个性化语法纠错，对不同等级、不同母语的汉语学 习者分别进行纠错； 嬲嬩 构建了不同领域汉语学习者的数据集，用来训练和测试语法纠错模型适应到汉语学习者不 同领域后的性能； 嬳嬩 将语法纠错模型适应到汉语学习者不同的领域后，纠错性能得到显著提升，整体实验结果 均超越基线模型，验证了提出的方法的合理性。 论文的整体结构：第一节是引言；第二节介绍了使用的语法纠错模型和领域适应的方法； 第三节是详细的实验设置；第四节给出了实验细节和各个模型对样例的纠错结果；第五节是相 关工作，主要介绍了与本文有关的工作；最后是论文的总结部分。 c⃝2020 中国计算语言学大会 根据《Creative Commons Attribution 4.0 International License》许可出版 CCL 2020 第十九届中国计算语言学大会论文集，第97页- 第106页，海南，中国，2020年10月30日至11月1日。 ( c) 2020 中国中文信息学会计算语言学专业委员会 计算语言学 2 方 方 方法 法 法 在给定一个长度为M的错误句子X 嬽 {x1, ..., xM}和一个学习者的领域d后嬬 基于神经机器 翻译的语法纠错模型使用神经网络对输出句子Y 嬽 {y1, ..., yN}的条件概率建模，如公式嬱： p嬨Y |X, d嬻 θ嬩 嬽 N � t=1 p嬨yt|y1:t−1, x1:M, d嬻 θ嬩, 嬨嬱嬩 其中θ是模型的参数。根据孍孡孤孯孴孴孯 孥孴 孡孬嬮 嬨嬲嬰嬱嬹嬩的工作，首先将模型的参数θ适应到学习者的领 域d，然后使用错误的句子对输出句子的条件概率建模，如公式嬲： p嬨Y |X嬻 θd嬩 嬽 N � t=1 p嬨yt|y1:t−1, x1:M嬻 θd嬩, 嬨嬲嬩 其中θd是对学习者的领域d建模以后的参数。学习者的领域有多种定义的方式，如等级、母语、 母语和等级的组合等。 Encoder Positional Encoding Embeddings Multi-Head Attention Add & Normalization …

Content truncated to 500 words