Leveraging Dialogue Discourse Parsing in a Two-Stage Framework for Meeting Summarization

摘要 會議摘要旨在從冗長的會議紀錄中， 生成出簡潔並包含重要資訊的文本內 容，能夠幫助參與者快速掌握會議的 核心要點。然而，會議記錄通常具有 複雜的對話結構，如不完整的句子和 分散在各個話語中的資訊。此外，文 本的長度經常超出了預訓練語言模型 能夠處理的長度。本文提出了一種針 對「長輸入文本」和「對話式結構」 的兩階段摘要生成框架，首先進行文 本擷取，從中篩選出重要的文本片 段，然後基於這些片段進行摘要生 成。對於複雜的對話結構，對話語篇 剖析能夠理解話語間的關係，並將其 畫成樹狀結構。我們選取較具結構的 文本作為擷取階段的輸出，以增加資 訊的密度且提供更結構化的對話文本 作為生成器的輸入。實驗結果表明， 我們的方法可以提升最終生成摘要的 表現。 Abstract Meeting summarization aims to distill meaningful information from lengthy meeting transcripts into concise texts, allowing participants to grasp key points quickly. However, meeting transcripts often feature complex dialogue structures, such as incomplete sentences and information scattered across multiple utterances. Additionally, the length of these transcripts often exceeds the maximum input limit for pretrained language models. In this paper, we introduce a two-stage summarization framework specifically designed for long-input texts and complex dialogue structures. First, we extract key segments from the original transcript. Second, we generate the summary based on these extracted segments. To address the complexity of dialogue structures, we employ dialogue discourse parsing to comprehend the relationships between utterances, which we represent in a tree- like structure. We select more structured text as the output from the extraction phase to enhance information density, thereby providing a more organized input for the summary generator. Experimental results demonstrate that our approach significantly improves the quality of the generated summaries. 關鍵字：會議摘要、自動文件摘要、對話語篇 剖析、生成式模型 Keywords: Meeting Summarization, Automatic Document Summarization, Dialogue Discourse Parsing, Generative Model 1 緒論 (Introduction) 會議是群體和組織間進行討論、決策和交流 的主要方式，已成為現代人日常工作中不可 或缺的一部分。隨著線上會議的普及和語音 辨識技術的快速發展，越來越多的會議文本 被轉錄出來，有效的會議摘要能夠提高會議 的效率，幫助參與者快速掌握會議的要點， 並做出相應的決策。然而，由於會議通常涉 及多個參與者，且討論的內容常常包含多個 主題，因此要生成有結構、有意義的摘要是 一個具有挑戰性的任務。 應用對話語篇剖析於兩階段會議摘要之研究 Leveraging Dialogue Discourse Parsing in a Two-Stage Framework for Meeting Summarization 黃怡萍 Yi-Ping Huang, 羅天宏 Tien-Hong Lo, 陳柏琳 Berlin Chen 國立台灣師範大學資訊工程學系 Department of Computer Science and Information Engineering, National Taiwan Normal University yiping97huang@gmail.com, {teinhonglo, berlin}@ntnu.edu.tw The 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023) Taipei City, Taiwan, October 20-21, 2023. The Association for Computational Linguistics and Chinese Language Processing 摘要任務可以分為擷取式 (Extractive) 和重 寫式 (Abstractive) 兩種方法，擷取式摘要從原 始文本中直接選取一些具有代表性的句子或 短語，然後把它們連接起來成為摘要。重寫 式摘要則需要對原始文件理解後，重新改寫 句 子，生成出一個簡潔且包含原始文件中核 心內容的摘要。早期的摘要研究主要聚焦於 擷取式摘要，因為它相對簡單且不容易產生 不 正 確 的 資 訊 。 但 隨 著 基 於 Transformer (Vaswani et al., 2017) 的序列到序列模型的出 現，預訓練語言模型在摘要生成任務上有了 重大突破，這也促使研究者逐漸轉向重寫式 摘要的研究。然而，在會議摘要方面，存在 一些與傳統文本摘要不同的挑戰。 Rennard et al. (2023) 對這些挑戰進行了整理，包括訓練 資料不足或模型限制，以及多方對話中存在 的互動特性。訓練資料不足源於會議通常涉 及到公司或群體之間的機密，導致公開的會 議資料集較少。而模型的限制則是會議的長 度往往超越預訓練語言模型能夠處理的長 度，這也大幅地增加了實作上的困難。此 外，會議是對話的形式，若只是順序建模而 未能運用到對話之間的互動關係，也可能導 致效果不佳。 在處理超出預訓練語言模型能力範疇的長 度時，先前研究提出的解決策略主要可分為 四種 (Mao et al., 2022)。首先，採用稀疏注意 力 (Sparse Attention) 機制可以降低自注意力機 制的複雜度 (Beltagy et al., 2020; Child et al., 2019)，將輸入序列劃分為多個子集，僅對這 些子集進行注意力計算。第二種策略是先擷 取後生成 (Extract-then-Generate)，先從輸入文 本中擷取重要或關鍵資訊，然後使用生成模 型進行摘要生成 (Xu and Durrett, 2019; Zhang et al., 2019; Zhang et al., 2021; Zhong et al., 2021) 。 通過預先篩選，能夠提供生成器更為精簡且 重要的資訊。第三種策略是分而治之 (Divide- and-Conquer)，即對每個片段進行摘要生成， 再 將 這 些 摘 要 合 併 以 形 成 整 體 會 議 摘 要 (Gidiotis and Tsoumakas, 2020; Grail et al., 2021; Zhang et al., 2022) 。最後，第四種策略是使用 階層式模型 (Hierarchical Model)，對話語的不 同結構進行建模，以優化摘要模型 (Rohde et al., 2021; Zhu et al., 2020)。由於先擷取後生成 策略最為直覺且與人類摘要過程相似，本研 究採用此方法作為模型的架構。 另一方面，對於多人間的互動，引入外部 資訊是一種常見的做法，其中包括 Ganesh and Dingliwal (2020) 透過對話語篇剖析將對話重 組成文件，再進行文件摘要。DDAMS (Feng et al., 2021) 將帶有語篇關係的會議話語轉化為 會議圖，然後運用圖編碼器對其進行建模。 Goo and Chen (2018) 則利用對話行為為摘要模 型提供了更多資訊，並設計了句子門控機制 來建模對話行為和摘要之間的關係。在這些 外部資訊中，對話語篇剖析能夠提供話語之 間的預定義關係 (Chi and Rudnicky, 2022)，明 確標示出話語之間的資訊流和互動，進而建 構出整個會議的結構。 基於上述，本研究針對「長輸入文本」和 「對話式結構」提出了先擷取後生成的模型 框架，在擷取階段透過對話語篇剖析來選擇 文本片段中較具有結構的文本內容，既能降 低文本的冗餘度和增加資訊密度，又可提供 更精簡且結構化的對話文本作為生成器的輸 入。生成階段透過先進的生成式預訓練模型 DialogLED (Zhong et al., 2022) 來生成最終摘 要。 2 相關研究 (Related Work) 2.1 先 擷 取 後 生 成 架 構 (Extract-then- Generate Framework) 之前的先擷取後生成模型可以分為三個類 別。第一類方法是分別訓練擷取器 (Extractor) 和生成器 (Generator) (Lebanoff et al., 2019; Xu and Durrett, 2019; Zhang et al., 2019; Zhang et al., 2021) 。然而，這種方法在將擷取的片段傳遞 給生成器時會有資訊損失的問題。為了解決 這一問題，後來的研究使用強化學習來連接 這兩個階段以達到改進效果，例如 Chen and Bansal (2018) 和 Bae et al. (2019) …

Content truncated to 500 words