Dynamic-FACT: A Dynamic Framework for Adaptive Context-Aware Translation

基 基 基于 于 于多 多 多意 意 意图 图 图融 融 融合 合 合框 框 框架 架 架的 的 的联 联 联合 合 合意 意 意图 图 图识 识 识别 别 别和 和 和槽 槽 槽填 填 填充 充 充 尹 尹 尹商 商 商鉴 鉴 鉴, 黄 黄 黄沛 沛 沛杰 杰 杰*, 梁 梁 梁栋 栋 栋柱 柱 柱, 何 何 何卓 卓 卓棋 棋 棋, 黎 黎 黎倩 倩 倩尔 尔 尔, 徐 徐 徐禹 禹 禹洪 洪 华南农业大学, 数学与信息学院, 广东广州, 510642洪 sjy8460@163.com, pjhuang@scau.edu.cn, liang dz@stu.scau.edu.cn, 13428897035@163.com, li@stu.scau.edu.cn, xuyuhong@scau.edu.cn 摘 摘 摘要 要 要 近年来，多意图口语理解（SLU）已经成为自然语言处理领域的研究热点。当前先进 的多意图SLU模型采用图-交互式框架进行联合多意图识别和槽位填充，能够有效地 捕捉到词元级槽位填充任务的细粒度意图信息，取得了良好的性能。但是，它忽略了 联合作用下的意图所包含的丰富信息，没有充分利用多意图信息对槽填充任务进行指 引。为此，本文提出了一种基于多意图融合框架（MIFF）的联合多意图识别和槽填 充框架，使得模型能够在准确地识别不同意图的同时，利用意图信息为槽填充任务提 供更充分的指引。我们在MixATIS和MixSNIPS两个公共数据集上进行了实验，结果 表明，我们的模型在性能和效率方面均超过了当前最先进的方法，同时能够有效从单 领域数据集泛化到多领域数据集上。 关 关 关键 键 键词 词 词： ： ： 多意图口语理解 ；多意图融合框架 ；联合多意图识别和槽位填充 A Multi-Intent Fusion Framework for Joint Intent Detection and Slot Filling Shangjian yin, Peijie Huang*, Dongzhu Liang, Zhuoqi He, Qianer Li, Yuhong Xu College of Mathematics and Informatics, South China Agricultural University, China sjy8460@163.com, pjhuang@scau.edu.cn, liang dz@stu.scau.edu.cn, 13428897035@163.com, li@stu.scau.edu.cn, xuyuhong@scau.edu.cn Abstract In recent years, multi-intent spoken language understanding (SLU) has become a re- search hotspot in the field of natural language processing. The current state-of-the-art multi-intent SLU model uses a graph-interaction framework for joint multi-intent de- tection and slot-filling, which can effectively capture fine-grained intent information for lexical element-level slot-filling tasks and achieves good performance. However, it ignores the rich information contained in the intent under joint action and does not fully utilize the multi-intent information to guide the slot-filling task. To this end, this paper proposes a joint multi-intent detection and slot-filling approach based on the multi-intent fusion framework (MIFF), which enables the model to accurately identify different intents while using the intent information to provide more adequate guidance for the slot-filling task. We conducted experiments on two public datasets, MixATIS and MixSNIPS, and the results show that our model outperforms current state-of- the-art methods in terms of performance and efficiency, while being able to effectively generalize from single-domain dataset to multi-domain dataset. *通讯作者 ©2023 中国计算语言学大会 根据《Creative Commons Attribution 4.0 International License》许可出版 CCL 2023 第 二 十 二 届 中 国 计 算 语 言 学 大 会 论 文 集 ， 第 54页 -第 63页 ， 哈 尔 滨 ， 中 国 ， 2023年 8月 3日 至 5日 。 (c) 2023 中 国 中 文 信 息 学 会 计 算 语 言 学 专 业 委 员 会 54 计算语言学 Keywords: Spoken language understanding , Multi-intent fusion framework , Joint intent detection and slot filling. 1 引 引 引言 言 言 口语理解（Spoken Language Understanding, SLU） (Tur et al., 2011; Young et al., 2013)是 面向任务的对话的关键组成部分系统，其目的是创建一个语义框架，总结用户的请求。利用 意图识别来识别用户意图，利用槽填充来提取相关语义成分，构建语义框架。由于意图识别 和槽填充这两个子任务紧密相关，主流SLU系统采用联合模型来建模它们之间的相关性。在 现实场景中，用户通常在话语中表达多个意图，如亚马逊内部数据集中52%的例子是多意图 的(Gangadharaiah et al., 2019)。Figure 1展示了一个两意图示例，其中包含一个分类任务来对 意图标签进行分类(即，预测意图为atis aircraft 和atis city) 和一个序列标记任务来预测槽 标签序列(即，将语句标记为{O, O, O, O, O, O, O, B-aircraft code, O, O, O, O, O, O, B-city name, O })。然而，以往的工作大多只关注简单的单意图场景，无法有效处理原始网络的多意图。最 近，多意图SLU逐渐受到关注，因为它在我们日常生活中具有重要的应用价值 (Gangadharaiah et al., 2019; Qin et al., 2000)，它可以处理包含多个意图的语句。为了满足现实生活的需 要，Xu等人 (2013)和Kim等人 (2017)开始探索多意图SLU。然而，他们的模型只考虑了多重意 图识别，而忽略了槽填充任务。最近，Gangadharaiah 和Narayanaswamy (2019) 首次尝试提出 了一个多任务框架来联合建模多重意图识别和槽填充。Qin等 (2020)进一步提出了一种自适应 交互框架（AGIF）来实现细粒度的多意图信息集成。基于图注意网络[7]和非自回归方式的思 想，Qin等人 (2021)提出了一个全局局部图交互网络(global - local graph Interaction network, GL-GIN)，该网络建模了多个意图和话语中所有槽之间的槽依赖和交互，获得了先进的性能。 虽然该模型取得了较好的效果，然而，它在模型浅层交互中只是将多意图和槽填充信息简单的 拼接，没有充分挖掘意图中对槽的填充具有重要的指导意义的信息，从而让训练效率和模型性 能大打折扣。 为了进一步增强多意图与槽填充的关联性以及协同优化的效果，我们提出了一个多意图融 合框架，其核心是多意图融合层，该层包含了三种信息的融合过程，实现了在意图识别和槽填 充任务之间建立更加稳定有效的连接。考虑到意图识别任务在联合效应中起着重要作用，我们 提出了意图强化层，获得了更丰富的多意图信息表示，提高了整体框架的鲁棒性。在MixATIS (Hemphill et al., 1990)和MixSNIPS (Coucke et al., 2018)两个公共数据集上的实验结果表明， …

Content truncated to 500 words