Exploring Accurate and Generic Simile Knowledge from Pre-trained Language Models

基 基 基于 于 于语 语 语音 音 音文 文 文本 本 本跨 跨 跨模 模 模态 态 态表 表 表征 征 征对 对 对齐 齐 齐的 的 的端 端 端到 到 到端 端 端语 语 语音 音 音翻 翻 翻译 译 译 周 周 周国 国 国江 江 江1,2， ， ，董 董 董凌 凌 凌1,2， ， ，余 余 余正 正 正涛 涛 涛*1,2， ， ，高 高 高盛 盛 盛祥 祥 祥1,2， ， ，王 王 王文 文 文君 君 君1,2， ， ，马 马 马候 候 候丽 丽 丽1,2 1.昆明理工大学，信息工程与自动化学院，昆明，650500 2.昆明理工大学，云南省人工智能重点实验室，昆明，650500 1845716340@qq.com,46761956@qq.com,ztyu@hotmail.com, gaoshengxiang.yn@foxmail.com,175360805@qq.com,1341584939@qq.com 摘 摘 摘要 要 要 端到端语音翻译需要解决源语言语音到目标语言文本的跨语言和跨模态映射，有限标 注数据条件下，建立语音文本表征间的统一映射，缓解跨模态差异是提升语音翻译性 能的关键。本文提出语音文本跨模态表征对齐方法，对语音文本表征进行多粒度对 齐并进行混合作为并行输入，基于多模态表征的一致性约束进行多任务融合训练。 在MuST-C数据集上的实验表明，本文所提方法优于现有端到端语音翻译跨模态表征 相关方法，有效提升了语音翻译模型跨模态映射能力和翻译性能。 关 关 关键 键 键词 词 词： ： ： 端到端语音翻译 ；跨模态 ；多任务 ；表征对齐 End-to-end Speech Translation Based on Cross-modal Representation Alignment of Speech and Text Guojiang Zhou1,2,Ling Dong1,2,Zhengtao Yu1,2,Shengxiang Gao1,2, Wenjun Wang1,2,Houli Ma1,2 1. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China 2. Yunnan Key Laboratory of Artificial Intelligence, Kunming University of Science and Technology, Kunming 650500, China 1845716340@qq.com,46761956@qq.com,ztyu@hotmail.com, gaoshengxiang.yn@foxmail.com,175360805@qq.com,1341584939@qq.com Abstract End-to-end speech translation aims to address cross-language and cross-modal map- ping from source language speech to target language text. Under the limitation of labeled data, establishing an unified mapping between speech and text representation and alleviating cross-modal differencials become the keys to improve speech transla- tion performance. In this paper, we propose a cross-modal representation alignment method for speech and text. The representation of speech and text are aligned at multiple granularities and mixed as parallel inputs to model, and multi-task training is performed based on the consistency constraint of multi-modal representation. Experi- ments on MuST-C dataset show that the proposed method outperforms existing related methods in end-to-end speech translation, and it effectively improves the cross-modal mapping capability and speech translation performance. Keywords: end-to-end speech translation , cross-modal , multitasking , representation alignment *余正涛（通信作者）：ztyu@hotmail.com 基 基 基金 金 金项 项 项目 目 目：国家自然科学基金（U21B2027, 61972186）；云南高新技术产业发展项目（201606）；云南省重大 科技专项计划（202103AA080015）；云南省基础研究计划（202001AS070014）；云南省科技人才与平台计划 （202105AC160018） ©2023 中国计算语言学大会 根据《Creative Commons Attribution 4.0 International License》许可出版 CCL 2023 第 二 十 二 届 中 国 计 算 语 言 学 大 会 论 文 集 ， 第 78页 -第 89页 ， 哈 尔 滨 ， 中 国 ， 2023年 8月 3日 至 5日 。 (c) 2023 中 国 中 文 信 息 学 会 计 算 语 言 学 专 业 委 员 会 78 计算语言学 1 引 引 引言 言 言 端到端语音翻译任务将源语言语音直接翻译为目标语言文本，在多语言视频字幕、多语言 会议同传等场景中具有广阔的应用前景。相较于先对源语言语音进行识别再翻译为目标语言 文本的级联系统，端到端语音翻译系统具有更低的延迟和更少的参数量，避免了错误传播问 题(B´erard et al., 2016)，因此备受研究者关注(Inaguma et al., 2020; Wang et al., 2020; Zhao et al., 2020)。 目前，面向端到端语音翻译任务的标注数据相对较少，有限标注数据条件下，输入语音和 输出文本间的模态差异在较大程度上影响着语音翻译模型的性能(Liu et al., 2020)。这种模态差 异主要表现在：语音长度远远大于其对应的文本长度，同时语音和文本的结构不同，语音是连 续的时序信号，而文本是离散的符号序列，导致模型难以学习到语音和文本的对齐关系(Xu et al., 2021)。目前端到端语音翻译大多利用机器翻译、语音识别领域中较为丰富的数据通过预训 练(Weiss et al., 2017; Alinejad and Sarkar, 2020; Stoian et al., 2020)，多任务训练(Tang et al., 2021; Ye et al., 2021)，知识蒸馏(Liu et al., 2019; Inaguma et al., 2021)等方式进行语音翻译辅 助训练。然而机器翻译中的训练数据仅为文本模态，语音识别中的训练数据并不具备跨语言特 性，故使用这类数据进行语音翻译辅助训练易导致编解码器跨模态映射能力不匹配(Cheng et al., 2022)，因此，如何有效缓解语音和文本之间的模态差异，提升语音翻译模型的跨模态映射 能力是端到端语音翻译任务面临的一个重要问题。 图 1. 语音与文本间的长度与结构差异 近期Liu et al. (2020)等人的工作表明，实现语音和文本的跨模态表征有助于减缓端到端语 音翻译中文本与语音间的模态差异。Wei et al. (2022)和Yao et al. (2022)使用不成对的语音文 本数据进行跨模态预训练以统一语音和文本的编码表示，这种多模态预训练模型相较于单模态 预训练模型取得了更好的结果；Wang et al. (2022)提出了一种离散跨模态对齐方法，利用一个 共享的离散词汇空间来容纳和匹配语音和文本模态，利用非平行数据对有效提升了端到端语音 翻译的性能。Ye et al. (2022)提出利用对比学习对长度不一致的语音与文本表征进行约束，在 此基础上Ouyang et al. (2022)通过对比学习来统一语音与文本两种模态的词级表征，证明了在 不同粒度上进行跨模态一致性表征的可行性。针对语音与文本因长度造成的模态差异，Zeng et al. (2022)通过引入预测词边界任务使模型学习到语音与文本间词级的长度对齐信息，Han et al. (2021)将语音与文本表征映射为统一且固定大小的抽象表征，有效统一了语音与文本的表征空 间，但固定长度的表征空间可能限制了模型的表达。Fang et al. (2022)通过混合语音与文本的 浅层表征作为并行输入，增强数据的同时缓和了模态差异，但其混合表征与语音表征之间仍存 在较大的长度差异。 本文提出词级和句子级的语音文本表征对齐方法，在对齐基础上对语音和文本表征进行交 叉混合得到混合表征作为模型输入，将语音与文本映射到同一表征空间。针对语音和文本表征 因长度造成的模态差异，使用长度归一化融合模块对混合表征与语音表征进行长度统一。针对 不同模态的表征内容差异问题，在多任务联合训练框架对语音文本模态表征进行一致性约束。 从而实现语音表征和对应文本表征的跨模态对齐，从而提升模型跨模态映射能力。 本文主要贡献如下：（1）本文提出的语音文本表征对齐方法和多粒度表征混合方法，验证 了跨模态一致性表征对语音翻译的积极作用。（2）本文提出长度归一化融合方法，验证了其对 缓解语音文本模态间长度差异的有效性。（3）在MuST-C数据集上的实验表明，在相同数据条 …

Content truncated to 500 words