當代非監督式方法之比較於節錄式語音摘要 (An Empirical Comparison of Contemporary Unsupervised Approaches for Extractive Speech Summarization) [In Chinese]

Computational Linguistics and Chinese Language Processing Vol. 22, No. 1, June 2017, pp. 1-26 1  The Association for Computational Linguistics and Chinese Language Processing 當代非監督式方法之比較於節錄式語音摘要 An Empirical Comparison of Contemporary Unsupervised Approaches for Extractive Speech Summarization 劉士弘、陳冠宇、施凱文、陳柏琳、王新民、許聞廉 Shih-Hung Liu, Kuan-Yu Chen, Kai-Wun Shih, Berlin Chen, Hsin-Min Wang, and Wen-Lian Hsu 摘要 由於網際網路的飛速發展，促成大資料時代的來臨，也因此自動摘要(Automatic Summarization)成為近年來一項熱門的研究議題。節錄式(Extractive)自動摘要 是依據事先定義的摘要比例，從文字文件(Text Documents)或語音文件(Spoken Documents)中選取一些能夠代表原始文件主旨或主題的重要語句當作摘要。節 錄式摘要可被視為一個資訊檢索(Information Retrieval, IR)的問題，在相關研究 中，使用語言模型(Language Modeling)來挑選重要語句之方法，已初步地被驗 證在文字與語音文件的自動摘要任務上有不錯的成果。本論文延續此項研究， 進一步地提出三個主要的研究貢獻。首先，有鑑於關聯性(Relevance)資訊的概 念在資訊檢索領域中已有不錯的發展成果，本論文嘗試結合關聯性資訊來重新 估測並建立語句的語言模型，並嘗試使用三混合(Tri-Mixture Model, TriMM) 模型，期待得以更精準地描述語句的語意內容，進而提升自動摘要之效能。第 二，除了語言模型之外，本論文進一步地嘗試探究機率式檢索模型於語音文件  中央研究院資訊所 Institute of Information Science, Academia Sinica E-mail: journey0621@gmail.com, {kychen, whm, hsu}@iis.sinica.edu.tw  國立臺灣師範大學資訊工程系 Department of Computer Science & Information Engineering, National Taiwan Normal University E-mail: {60247065S, berlin}@csie.ntnu.edu.tw 2 劉士弘 等 摘要任務上之成效。最後，本論文亦探討不同的語言模型平滑化技術對於語音 文件摘要任務之影響。本論文的語音文件摘要實驗語料是採用公視廣播新聞 (MATBN)；實驗結果顯示，相較於其它現有的非監督式摘要方法，我們所應 用的新穎式摘要方法能提供明顯的效能改善。 關鍵字: 最佳匹配、語言模型、虛擬關聯回饋、關聯模型、節錄式自動摘要。 Abstract Due to the rapid-developed Internet and with the big data era coming, the automatic summarization research has been emerged a popular research topic. The aim of automatic summarization is in attempt to select important text or spoken sentence to represent the topic (theme) of original text or spoken document according to a predefined summarization ratio. In this study we frame automatic summarizaiton task as an ad-hoc information retrieval (IR) problem and employ the mathematical sound language modeling (LM) framework for extractive speech summarization, which can perform important sentence selection in an unsupervised manner and has shown its preliminary success. The main contribution of this paper is three-fold. First, by the virtue of relevance modeling, we explore several effective sentence modeling formulations to enhance the sentence models involved in the LM-based summarization framework and the first use of tri-mixture model to improve the performance of extractive speech summarization. Second, since the language modeling will suffer from data sparseness problem and the common solution is to adopt smoothing techniques, in this research we investigate three different smoothing approaches to evaluate how they influence the summarization performance. Third, we further apply the well-studied ranking model (BM25) and also its variants in IR community for ranking important sentence in extractive speech summarization. Experiments conducted on public avaiable dataset (MATBN) and the results show that our applied methods have effective summarization performance when compared to the other well-practiced and state-of-the-art unsupervised methods. Keywords: BM25, Language Modeling, Pseudo-Relevance Feedback, Relevance Modeling, Extractive Automatic Summarization. 1. 緒論 (Introduction) 隨著大資料時代的來臨，眾多的文字及多媒體影音資訊被快速地傳遞並分享於全球各地， 資訊超載(Information Overload)的問題也隨之產生。如何能讓人們快速且有效率地瀏覽與 日俱增的文字資訊或多媒體影音資訊，已成為一個刻不容緩的研究課題。在眾多的研究 當代非監督式方法之比較於節錄式語音摘要 3 方法中，自動摘要(Automatic Summarization)被視為是一項不可或缺的關鍵技術(Lin & Chen, 2010; Liu & Hakkani-Tur, 2011) 。 自 動 摘 要 之 目 的 在 於 擷 取 單 一 文 件 (Single-Document)或多重文件(Multi-Document)中的重要語意與主題資訊，藉此讓使用者 能更有效率地瀏覽與理解文件的主旨，以便快速地獲得其所需的資訊，避免花費大量時 間在審視文件內容。另一方面，語音是多媒體文件中最具資訊的成分之一；如何透過語 音(文件)摘要技術來自動地、有效率地處理具時序性的多媒體影音內容，例如：電視新 聞、廣播新聞、郵件、電子郵件、會議及演講錄音等(Ostendorf, 2008; Nenkova & McKeown, 2011)，更是顯得非常重要。其關鍵原因在於多媒體影音內容往往長達數分鐘或數小時， 使用者不易於瀏覽和查詢，而必須耐心地閱讀或聽完整份多媒體影音內容，才能理解其 中所描述的語意與主題，這違反人們講求方便、有效率的資訊獲取方式。 雖然對於含有語音訊號的多媒體影音，我們可透過自動語音辨識(Automatic Speech Recognition, ASR)技術自動地將其轉換成易於瀏覽的文字內容，再藉由文字文件摘要的 技術來做處理，以達到摘要多媒體影音或其它語音文件之目的。但就現階段語音辨識技 術的發展，語音文件經語音辨識後自動轉寫成文字的結果，不僅存在辨識錯誤的問題， 也缺乏章節與標點符號，使得語句邊界定義不清楚而失去文件的結構資訊；除此之外， 語音文件通常含有許多口語語助詞、遲疑、重覆等內容，這都使得語音文件摘要技術的 發展面臨更多的挑戰。 一般來說，自動摘要研究可從許多不同面相來進行探討，包括了來源、需求、方式、 用途以及模型技術，以下將簡述各個不同面相的相關議題(Mani & Maybury, 1999)： (1) 來源：根據文件來源，可以分為單一文件摘要與多重文件摘要(Cai & Li, 2013)； 單一文件摘要是依據事先定義好的摘要比例，選取能夠代表文件的句子當作摘要；而多重 文件摘要是收集多篇相似的文件，需要移除文件間彼此冗餘性(Redundancy)的資訊 (Carbonell & Goldstein, 1998)，考慮文件描述事件發生的先後順序(Causality)(Kuo & Chen, 2006)，並且確認文件之間的因果關係，經由這些資訊希望能產生有連貫性的文件摘要。 (2) 需求：依據使用者需求不同，摘要內容可區分為具有資訊性(Informative)、指示性 (Indicative)、以及評論性(Critical)。具有資訊性的摘要是用來表達文件描述的主旨內容與核 心資訊；具指示性的摘要是希望將文件中的主題內容做簡單的描述，並將文件分成不同的 主題，例如：政治性、學術性、體育性和娛樂性文件，因此所產生的摘要不要求傳達詳細 的原始文件內容；具評論性的摘要提供文件正面與反面的觀點(Positive and Negative Sentiments)(Galley, McKeown, Hirschberg & Shriberg, 2004)。 (3) 方式：可概分為二大類，節錄式(Extractive)摘要與抽象式(Abstractive)摘要(或重寫 式摘要)。前者主要是依據特定的摘要比例，從最原始的文件中選取重要的語句來組成摘要； 而後者是在完全理解文件內容之後，重新撰寫產生摘要來代表原始文件的內容，其所使用 之語彙或慣用語不一定是全然地來自於原始文件，此種摘要方式是最為貼近人們日常撰寫 摘要的形式。然而抽象式摘要需要複雜的自然語言處理(Natural Language Processing, NLP) 技術，如資訊擷取(Information Extraction)、對話理解(Discourse Understanding)及自然語言 4 劉士弘 等 生成(Natural Language Generation)等(Paice, 1990; Witbrock & Mittal, 1999)，因此，近年來 節錄式摘要之研究仍為主流。 (4) 用途：依摘要用途可分為一般性(Generic)摘要與以查詢為基礎(Query-focused)的摘 要。前者是從整篇文件中萃取出能夠突顯整篇文件全面性主題資訊的語句，期望摘要產生 的內容可以涵蓋整篇文件所有重要的主題；後者透過使用者或特定的查詢來產生與查詢相 關的摘要。 (5) 模型技術：簡單分成三大類，(i)以簡單的語彙(Lexical)與結構(Structural)特徵做為 判斷摘要語句的模型技術(Zhang, Chan & Fung, 2010)，(ii)監督式機器學習(Supervised Machine Learning)以及(iii)非監督式機器學習(Unsupervised Machine Learning)(Liu & Hakkani-Tur, 2011)之模型技術。雖然非監督式機器學習的方法在一般的情況下其效能沒有 監督式機器學習方法來的好，但非監督式機器學習方法不需要事先準備大量人工標記的訓 練資料，以及具有容易實作(Easy-to-Implement)的特性，仍吸引許多學者進行研究與發展， 本論文主要也是探討且比較非監督式機器學習的方式於自動摘要之任務。 綜觀上述各個面向，本論文主要探究一般性、單一文件節錄式語音摘要問題，並比 較各式非監督式機器學習模型技術。近年來，各式基於語言模型之非監督式模型技術運 用在資訊檢索領域中已呈現卓越的研究成果(Zhai, 2008)，這些技術也初步地被應用於語 音文件摘要之研究上(Lin, Yeh & Chen, 2011)，亦獲得一定的摘要成效。本論文將延續此 …

Content truncated to 500 words