Attention-Based Graph Neural Network with Global Context Awareness for Document Understanding

发音属性优化建模及其在偏误检测的应用 郭铭昊 语言资源高精尖创新中心/北京 北京语言大学信息科学学院/北 京 gmhgmh8000@163.com 解焱陆 语言资源高精尖创新中心/北京 北京语言大学信息科学学院/北 京 xieyanlu@blcu.edu.cn 摘要 近年来，发音属性常常被用于计算机辅助发音训练系统（CAPT）中。本文针对使用发 音属性的一些难点，提出了一种建模细颗粒度发音属性（FSA）的方法，并在跨语言属 性识别、发音偏误检测中进行测试。最终，我们得到了最优平均识别准确率约为 95% 的属性检测器组；在两个二语测试集上的偏误检测，相比基线，基于 FSA 方法均获得 了超过 1%的性能提升。此外，我们还根据发音属性的跨语言特性设置了对照实验，并 在上述任务中测试和分析。 关键词：发音属性；偏误检测；属性识别 Speech attributes optimization modeling and application in mispronunciation detection Minghao Guo Beijing Advanced Innovation Center for Language Resources/Beijing Beijing Language and Culture University/Beijing gmhgmh8000@163.com Yanlu Xie Beijing Advanced Innovation Center for Language Resources/Beijing Beijing Language and Culture University/Beijing xieyanlu@blcu.edu.cn Abstract In recent years, Speech attributes are often used in computer-aided pronunciation training systems (CAPT). This paper proposes a method for modeling fine-grained speech attributes (FSA) for some difficulties in using speech attributes, and tests in cross-language attribute recognition and mispronunciation detection. In the end, we obtained an attribute detector group with an optimal average recognition accuracy rate of about 95%; the mispronunciation detection on the two second language test sets, based on the FSA method achieved a performance improvement of more than 1% compared to the baseline. In addition, according to the cross-language characteristics of speech attribute, we set up a comparative experiment and tested and analyzed in the above tasks. Keywords：Speech attribute; Mispronunciation detection;Attribute recognition CCL 2020 第十九届中国计算语言学大会论文集，第66页- 第76页，海南，中国，2020年10月30日至11月1日。 ( c) 2020 中国中文信息学会计算语言学专业委员会 1 引言 近年来，随着二语学习需求的增长，学习汉语的人越来越多。基于自动语音识别的计算机 发音训练系统（The computer-aided pronunciation training system）不仅能够满足当下学习者碎片 化学习时间的需要还能弥补传统课堂教学的劣势。它的主要核心功能有：（1）提供反馈；（2） 评估发音质量。从反馈形式的角度看，CAPT 系统可大致分为发音质量打分和发音偏误检测两 种类型，发音偏误检测任务的目标则是以高精度检测发音错误并给出对应的纠音反馈。研究发 现，即使以简单的形式提供纠音反馈，也能够改善学习者在音素层级的发音质量（Neri A, 2006）。 用于提供纠音反馈的研究有很多，例如利用拓展识别网络创建一个音素级的发音偏误检测和诊 断的模型（Harrison A M, 2009），利用发音属性来提供诊断性反馈等。 通过研究人类识别语音的过程，人的记忆单元中字词存储的基本单位是段，并且通过一系 列的特征集合来相互区分，这些用于描述语音学发音并区分语音段的特征称为“区分性特征”。 这些特征可以从语音的不同方面定义，如发音位置、发音方式等，而这些“区分性特征”叫做发 音属性（Speech Attribute）。目前，发音属性在二语学习中主要用于提供纠音反馈、简化二语语 料库标注等，而发音属性的定义方法多采用国际音标标准。 外国学生在学习汉语时出现的发音偏误，往往就是由于发音位置等发音属性的不准确导致 的。二语学习者受母语负迁移等作用影响，其发音属性常常会倾向于母语中相似音的发音属性， 同样地，如果二语中的发音属性在其母语中缺失，则学习者将很难正确掌握新的发音方法。目 前，在偏误检测任务上应用发音属性的方法有：发音偏误趋势建模、发音属性特征提取、多语 言发音属性建模等。 Cao 等根据来自于发音人发音位置和发音方法等发音属性的不准确，定义了包括高化、低 化、前化、后化等发音偏误趋势（Cao, 2010）。Li 等人基于发音偏误趋势的属性特征提取，用 于提供诊断性反馈（Li, 2016）。但是，上述方法也存在很多局限性，例如高度依赖拥有准确标 注信息的大规模二语语料库。采用多语言建模发音属性的原因在于，发音属性具备跨语言特性， 且当二语者在发音时发生母语负迁移现象，其偏误发音的发音属性会包含两种语言的发音属性。 因此，若同时建模两种语言的发音属性，将有助于检测偏误发音的发音属性（Duan, 2017）。理 论上，通过多语言发音属性建模，有助于建模任意母语背景二语者语料的发音属性。采用多语 言发音属性建模也存在难点，例如：难以建模所有已知语言、汉语与其他语言发音属性定义存 在差异（如，汉语元音“i”）。以上应用中，使用发音属性的方法往往采用国际音标的定义，但 是由于汉语和其他语言在发音属性的定义上存在差异，国际音标无法准确地描述汉语的发音属 性。 假设在没有足够的二语数据集的情况下，本研究针对整合多母语描述发音偏误方法的难点， 提出了一个以学习汉语为目的发音属性定义和优化建模方法，即细颗粒度的发音属性（FSA）， 将有助于改善汉语的发音偏误检测任务。在此基础上，检测属性检测器的跨语言能力，以及探 究面对不同母语背景学习者语料时上述方法检测发音偏误的能力。根据发音属性具备可跨语言 的特点，我们还探究了单语言训练的属性检测器的跨语言能力，通过控制建模时的上下文信息， 降低了单语言属性检测器对汉语数据的过度适应，并设置了多个对照实验分别采用不同的上下 文信息建模，在汉语和英语两个测试集中进行属性检测，最后对比双语言属性检测器的检测结 果来进行分析。由于跨语言建模发音属性具备描述发音偏误的能力，我们还在母语为日语和俄 罗斯语的学习者测试集上，进行次音段级和音段级的发音偏误检测。 2 发音属性的定义 本研究从四个方面对汉语声母进行了描述：发音位置（PA）、发音方式（MA）、是否送气 （AS）、清浊音（VO）。而汉语元音部分则包括四个类别:舌位前后（TF）、舌位高低（TH）、 唇形圆展（RO）、PA 和 VO。需要强调的是，在声学音标中辅音和元音的发音属性定义不同 CCL 2020 第十九届中国计算语言学大会论文集，第66页- 第76页，海南，中国，2020年10月30日至11月1日。 ( c) 2020 中国中文信息学会计算语言学专业委员会 （Siniscalchi，2008），因此我们分别对辅音和元音的发音属性进行建模，并尝试将它们在 PA 分类中合并建模。由于所有的汉语元音在 AS 和 VO 中都没有子分类，所以我们将它们的详情放 在声母发音属性定义中呈现。 我们将所有的汉语辅音与 IPA 一一映射，根据 IPA 上对应音素的知识信息，找到我们需要 的属性信息并给予分类标签。在 PA 类别中，所有元音部分都将被标记为“vowels”，其中声母的 四个类别使用映射表 1 的音素分类中产生（C.Zhang, 2011）。在表 1 中，汉语辅音以拼音形式 首先列出，其次则是以音素表示的英语辅音。该表还列出了英文中存在但中文中不存在的属性， 这些属性没有参与建模，以此不难看出汉语和英语属性的区别。例如，英语中没有 AS 属性分 类，以及 Timit 音素集中只有一个清化的元音“axh”。 Attributes Phone set (Ch/En) P A Bilabial b p m p b m w Labiodental f f v Alveolar d t l n t l el ch sh jh zh dx nx Dental c s z s dh en n r z th d Retroflex zh ch sh r Palatal j q x y Velar g k h k g ng M A Stop g p d t g k t p k b d g Fricative f s sh r x h sh th f hh dh hv v w zh s z Affricate z zh c ch j q ch jh Nasal m n en m nx ng n Lateral l el l Approximant dx Tap or Flap r y 表 1.中英文辅音属性类别表（部分） 汉语韵母由多个元音和鼻元音组成（en、an 等)，相对于声母来说比较复杂。因此，我们将 每个汉语韵母描述为一组 IPA 音素，然后根据这些音素得到每个韵母的属性集。表 2 中列出了 四个汉语元音属性类别，列出了汉语单元音和英语音素的属性分类。 此外，汉语和英语的元音在舌位上有很大的差异。在过去的研究中，将音素舌位前后大致 分为三大类：前、中、后（MullerM，2017），这样简单的分类显然不能完全体现汉语元音在舌 位前后的位置。为了找到更好的描述汉语的舌位前后的分类方法，我们将表示汉语元音分为五 类和七类分类建模。由于五分类的舌位可以直接对应于声母的发音位置，所以我们在 PA 类中同 时对韵母和声母进行建模，而在 TF 类中更详细地分为七类。将 PA 与 TF 进行比较，可以看出 两种分类方法的差异，如表 2 所示。另外，汉语的声母在 TF、RO 和 TH 中被标记为“辅音”。 值得注意的是，汉语韵母中存在着三种属性维度，它们描述了汉语韵母中存在的属性数量。例 如，汉语的最后一个“iao”被描述为三个 IPA 音素，所以它在每个类别中都有三维属性。 Attributes Phone set (Ch/En) P A Dental ii Retroflex iii Palatal/Front i v iy ih ae eh PA-Central a ax ix ux axh axr er Velar/Back u aa ah ao uw uh CCL 2020 第十九届中国计算语言学大会论文集，第66页- 第76页，海南，中国，2020年10月30日至11月1日。 ( c) 2020 中国中文信息学会计算语言学专业委员会 T H High i ii iii v u ix iy ux uw Second H ih uh Half …

Content truncated to 500 words