Improving Response Diversity through Commonsense-Aware Empathetic Response Generation

基於常識知識的移情對話回覆生成 Improving Response Diversity through Commonsense-Aware Empathetic Response Generation 黃紫嫺 Tzu-Hsien Huang 中央大學資訊工程學系 christy514@g.ncu.edu.tw 張嘉惠 Chia-Hui Chang 中央大學資訊工程學系 chia@csie.ncu.edu.tw 摘要 本篇論文著重在移情對話生成任務上。 先前研究關於移情對話生成的方法 (Ma- jumder et al., 2020b; Lin et al., 2019) 主 要集中在檢測和利用用戶的情緒來產生 移情反應。本研究將使用額外的常識知識 圖譜做為機器人對常識性的背景知識。我 們針對非預訓練和預訓練模型各使用不同 的方式增強多樣性，在非預訓練模型上我 們將 AdaLabel(Wang et al., 2021) 應用在 CEM 模型 (Sabour et al., 2022) 上，而 對於預訓練模型我們使用 BART 模型結 合多種常識知識讓模型能生成更有資訊 的移情回應。研究結果顯示所提出的模型 在 EMPATHETICDIALOGUES 和 DailyDi- alog 資料集上都優於基線模型，並且在個 案研究中可以看到模型產生更多信息和同 理心的回應。 Abstract Due to the lack of conversation practice, the main challenge for the second-language learners is speaking. Our goal is to de- velop a chatbot to encourage individuals to reflect, describe, analyse and commu- nicate what they read as well as improve students’ English expression skills. In this paper, we exploit COMMET, an inferen- tial commonsense knowledge generator, as the background knowledge to improve the generation diversity. We consider two ap- proaches to increase the diversity of em- pathetic response generation. For non- pretrained models, We apply AdaLabel (Wang et al., 2021) to Commonsense-aware Empathetic model (Sabour et al., 2022) and improve Distinct-2 score from 2.99 to 4.08 on EMPATHETIC DIALOGUES (ED). Furthermore, we augment the pretrained BART model with various commonsense knowledge to generate more informative empathetic responses. Not only has the au- tomatic evaluation of distinct-2 scores im- proved from 9.11 to 11.21, but the manual case study also shows that CE-BART sig- nificantly outperform CEM-AdaLabel. 關鍵字：移情對話回應生成、知識感知回應 生成、回應多樣性 Keywords: Empathetic response gener- ation, Commonsense aware response genera- tion, response diversity 1 緒論 提升學生英語口說能力的方法之一是透過大 量的對話練習，因此建構一個聊故事機器人， 讓同學們透過有主題的故事和機器人進行聊 天，是教育型對話機器人的一個重要研究方向 (Liu et al., 2022)。我們的目標是開發一個聊 故事機器人，在英文閱讀活動中讓機器人扮演 陪伴與支持的角色，藉由和學生一同談論英文 故事書、分享心得，促進其英文閱讀之興趣發 展。 聊故事機器人雖然可以由機器人主導對話 的進行，但是當學習者回答之後，如何接續 使用者的回應是一個相當大的挑戰。為了 產生合理的回應，近年的對話系統研究試 圖應用知識圖譜來豐富對話回應內容，例如 KEMP(Li et al., 2022) 及 MIME(Majumder et al., 2020b) 引用 ConceptNet 於 Empathetic Dialogues (ED) 資料集上的對話回應生成，彌 補機器人背景知識的不足，讓對話系統可以生 成包含同理心的回應，合理地回應他人的情況 和感受，避免對話過於單調和死板。 雖然 ConceptNet 包含多語言的詞彙知識、 以及不同詞彙之間的關係 (例如：UsedFor, RelatedTo, Antonym)、也有物理常識知識 (例如：HasA, PartOf)，然而 ConceptNet 對 於事件描述涵蓋有限，僅 800 萬的節點中不 到百分之一的節點屬於事件，而 2,100 萬鏈結 中僅有不及千分之六的鏈結是關於事件。因此 著重於在”If-Then” 推論知識的 ATOMIC(Sap et al., 2019) 的推出送到相當大的關注。同 時通過微調預訓練語言模型 (GPT-2(Radford The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 299 et al., 2018)、BART(Lewis et al., 2020))， Bosselut 等人更提出 COMET(Bosselut et al., 2019) 常識推論模型，可以生成更多不存在於 原始知識庫的常識知識。 Sabour et al.即應用 COMET 生成的常識， 有效增加 ED 對話集回應的新穎單字 (Dist-1) 及雙字 (Dist-2) 多樣性到 0.66% 及 2.99%。本 篇論文著重在結合常識知識於移情對話生成， 並提高模型生成多樣性，針對非預訓練模型和 預訓練模型兩種模型使用不同增強生成多樣性 的方法。本篇論文貢獻有以下幾點： • 我們成功將一個可以自適應估計目標標籤 分布的方法 AdaLabel 應用在 CEM 模型 上面，自動評估結果表明，與 CEM 模型 的方法相比，CEM-AdaLabel 可以分別 提升 Dist-1 及 Dist-2 至 0.79% 及 4.08%。 • 我 們 提 出 CE-BART 透 過 預 訓 練 的 BART 模型和 5 種類型的常識來增強同 理心反應生成的方法，同時提升 Dist-1 及 Dist-2 至 2.35% 及 11.21%。 • CE-BART 在自動評估和人工評估上都取 得很高的效能，並且在個案研究（Case Study）結果表明 CE-BART 可以產生更 多信息和同理心的反應。 2 相關研究 2.1 常識知識圖與知識擷取生成 現 有常 識知識 包 括 WordNet, ConceptNet, FrameNet, Atomic, 等常識知識庫。Concept- Net(Liu and Singh, 2004) 是一個多語言的知 識庫，主要表示單詞或短語之間的常識關係。 此知識庫是以起始節點、關係標籤和結束節點 的三元組形式表示一段關係 (例: A net is used for catching fish，可以表示成 (net, UsedFor, catching fish))。在 ConceptNet (v5.7)(Speer et al., 2017) 中資料來源為透過眾包收集並 與 Wikitionary、WordNet、OpenCyc 和 DB- Pedia 等現有知識庫合併，總共包含 2100 萬 個邊、800 萬個以上的節點和 36 個關係 (rela- tion)，主要關注在詞彙知識 (例如：UsedFor, RelatedTo, Antonym) 和物理常識知識 (例如： HasA, PartOf)，所以 ConceptNet 偏向詞與 詞之間的關係，對於事件描述涵蓋有限。 ATOMIC (An atlas of machine common- sense)(Sap et al., 2019) 則是著重在”If-Then” 的 推 論 知 識， 收 集 了 約 88 萬 個 以 上 …

Content truncated to 500 words