基於端對端模型化技術之語音文件摘要 (Spoken Document Summarization Using End-to-End Modeling Techniques)

Computational Linguistics and Chinese Language Processing Vol. 25, No. 1, June 2020, pp. 29-56 29  The Association for Computational Linguistics and Chinese Language Processing 基於端對端模型化技術之語音文件摘要 Spoken Document Summarization Using End-to-End Modeling Techniques 劉慈恩、劉士弘、張國韋、陳柏琳 Tzu-En Liu, Shih-Hung Liu, Kuo-Wei Chang, and Berlin Chen 摘要 本論文主要探討端對端(End-to-End)的節錄式摘要方法於語音文件摘要任務上 的應用，並深入研究如何改善語音文件摘要之成效。因此，我們提出以類神經 網路為基礎之摘要摘要模型，運用階層式的架構及注意力機制深層次地理解文 件蘊含的主旨，並以強化學習輔助訓練模型根據文件主旨選取並排序具代表性 的語句組成摘要。同時，我們為了避免語音辨識的錯誤影響摘要結果，也將語 音文件中相關的聲學特徵加入模型訓練以及使用次詞向量作為輸入。最後我們 在中文廣播新聞語料(MATBN)上進行一系列的實驗與分析，從實驗結果中可 驗證本論文提出之假設且在摘要成效上有顯著的提升。 Abstract This thesis set to explore novel and effective end-to-end extractive methods for spoken document summarization. To this end, we propose a neural summarization approach leveraging a hierarchical modeling structure with an attention mechanism to understand a document deeply, and in turn to select representative sentences as 中華電信研究院巨量資料研究所 Big Data Laboratory, Telecommunication Laboratories, Chunghwa Telecom Co., Ltd E-mail: hane0131@gmail.com; muslim@cht.com.tw 國立臺灣師範大學資訊工程研究所 Department of Computer Science and Information Engineering, National Taiwan Normal University E-mail: hane0131@gmail.com; berlin@csie.ntnu.edu.tw 台達知識管理部 Delta Management System E-mail: journey.liu@deltaww.com 30 劉慈恩 等 its summary. Meanwhile, for alleviating the negative effect of speech recognition errors, we make use of acoustic features and subword-level input representations for the proposed approach. Finally, we conduct a series of experiments on the Mandarin Broadcast News (MATBN) Corpus. The experimental results confirm the utility of our approach which improves the performance of state-of-the-art ones. 關鍵詞：語音文件、節錄式摘要、類神經網路、階層式語意表示、聲學特徵 Keywords: Spoken Documents, Extractive Summarization, Deep Neural Networks, Hierarchical Semantic Representations, Acoustic Features 1. 緒論 (Introduction) 隨著大數據時代的來臨，巨量且多元的資訊透過網際網路快速地在全球各地傳播，資料 內容的呈現方式已不侷限於傳統的紙本形式，包含語音及影像的多媒體資訊逐漸取代靜 態的文字資訊，如何有效率地閱讀多樣化形式的多媒體資訊，已成為一個刻不容緩的研 究課題。此外，在社會逐步行動化的情況下，人手一機已是常態，且伴隨著科技不斷地 創新，行動設備不再只能通話和傳遞文本訊息，多媒體訊息如語音及影像等亦能完好地 傳遞，更甚於我們能透過聲音及手勢等指令操作設備。 在眾多的研究方法中，自動摘要 (Automatic Summarization) 被視為是一項關鍵的技 術，其在自然語言處理 (Natural Language Processing, NLP) 領域中一直都是熱門的研究 議題，因其具有能擷取文件重要資訊的特性，在許多應用上更是不可或缺的一項技術， 如問答系統 (Question Answering)、資訊檢索 (Information Retrieval) 等。另一方面，語 音是多媒體文件中最具語意的主要成份之一，如何透過語音(文件)摘要技術有效率地處 理時序資料，更是顯得非常重要。其關鍵在於影音文件往往長達數分鐘或數小時，使用 者不易於瀏覽與查詢，而必須耗費許多時間閱讀或聆聽整份文件，才能理解其內容，不 符合人們想要快速地獲取資訊之目的。 對於含有語音訊號的多媒體資訊，我們可先經由自動語音辨識 (Automatic Speech Recognition, ASR) 技術將文件轉成易於瀏覽的文字內容，再透過文字文件摘要的技術作 處理，以達到摘要語音文件之目的。但因現階段的語音辨識技術仍存在辨識錯誤的問題， 也缺乏章節與標點符號，使得語句邊界定義模糊而失去文件的結構資訊；此外，語音文 件通常含有一些口語助詞、遲疑、重複等內容，進而使得語音摘要技術的發展更為艱鉅。 本論文主要探討端對端的節錄式語音文件摘要任務常見的自動摘要技術大致上可 分為兩種，節錄式 (Extractive) 摘要與重寫式 (Abstractive) 摘要。節錄式摘要方法是本 論文的研究重點，其主要會辨別文章中的語句是否具代表性，並依照特定的摘要比例從 其中選取作為摘要；重寫式摘要方法則需理解文章後，依文章的主旨重新撰寫摘要，其 所使用的詞彙與文法不全然從原文中複製，與人們日常撰寫的摘要較為相似。 常見的語音文件摘要任務主要是分為兩階段，自動語音辨識（Automatic speech recognition, ASR）和自動文件摘要（Automatic document summarization）。當我們得到 基於端對端模型化技術之語音文件摘要 31 一語音文件，自動語音辨識系統會先對語音訊號進行特徵抽取，進而透過預先訓練完成 之聲學模型（Acoustic model）和語言模型（Language model）進行語音辨識得到其轉寫 文件 （Transcription）。本論文中所使用的語音辨識系統，是採用國立臺灣師範大學資 訊工程學系研究所語音暨機器智能實驗室所發展之大詞彙語音辨識器（Large vocabulary continuous speech recognition system, LVCSR）(Chen, Kuo & Tsai, 2004; 2005) 進行自動語 音辨識。常見的節錄式文件摘要方法大多是以資料驅動 (Data-driven) 方法為主。其中， 又以深度學習 (Deep Learning) 方法發展出的序列對序列 (Sequence-to-Sequence) 架構 (Bahdanau, Cho & Bengio, 2015; Sutskever, Vinyals & Le, 2014)在摘要任務上獲得較多學 者的青睞。尤其重寫式摘要被認為是一種序列對序列的問題(Sutskever et al., 2014)，更以 此發展出許多方法(Chen, Zhu, Ling, Wei & Jiang, 2016; Chopra, Auli & Rush, 2016; Nallapati, Zhou, dos Santos, Gu̇ lçehre & Xiang, 2016; Paulus, Xiong & Socher, 2017; Rush, Chopra & Weston, 2015; See, Liu & Manning, 2017; Tan, Wan & Xiao, 2017)；而節錄式摘 要一般則被視為一種序列標記 (Sequence Labeling) 的問題，對文章中每個語句作標記， 標示出其是否為摘要(Cheng & Lapata, 2016; Nallapati, Zhai & Zhou, 2017)。 雖然語音辨識的錯誤對於語音文件摘要任務上會有一定的影響，其主要的影響在於 自動轉寫文件中的內文會與人工轉寫結果有差異，進而導致文件摘要系統無法完全準確 地理解文件含義，因此使得摘要成效不佳；此外，摘要的呈現亦是一項重要的課題，如 何呈現出易於閱讀的摘要，是文件摘要系統中必須學會的重點。而一個良好的摘要表達 應該著重於以下四個要素： • 資訊性（Informativity）：摘要結果所包含原文件中的資訊程度，應盡可能涵蓋所有 重要資訊。 • 文法性（Grammaticality）：摘要中的語句應符合語言的文法，所得之摘要才易於閱 讀；若不符合文法，則會較常被視為關鍵詞擷取（Keyword Extraction）。此要素於重 寫式摘要任務上較受關注。 • 連貫性（Coherency）：此要素所指的是摘要中上下文間的連貫程度，若前後句不存 在連貫性，則會類似於畫重點的方式條列出重點，而非根據文件主旨所生成之摘要。 此要素於節錄式摘要任務上常被提及。 • 非重複性（Non-Redundancy）：為了能簡化描述，應避免出現過多重複的詞句或相 似的資訊，若重複的資訊太多會影響使用者閱讀。 因此本論文主要會針對上述之資訊性及連貫性兩項要素討論，並嘗試以不同方法避 免受到語音辨識錯誤的影響。首先於摘要資訊性部分，本論文發展並改進一個端對端的 階層式類神經網路架構，其受益於摺積式類神經網路（Convolutional neural networks, CNNs）之語言模型應用以及遞迴式類神經網路（Recurrent neural networks, RNNs）於自 然語言處理領域的優秀表現，使得我們能夠階段式（先語句後全文）地閱讀文件並快速 地理解語意；另外我們亦嘗試應用注意力機制（Attention mechanism）更進一步提升模 型對於文章的理解度，進而提升摘要資訊性。其次對於摘要連貫性，由於節錄式摘要往 32 劉慈恩 等 往是挑選較符合摘要語句的結果，因此其通常沒有根據語意進行排序，因此本論文亦嘗 試將摘要語句的排序及摘要評估指標應用於強化學習（Reinforcement learning, RL）輔助 模型訓練。最後為了避免語音辨識錯誤，我們在模型預測摘要的過程中參考語句的聲學 特徵（Acoustic features）及次詞資訊（Subword information），其中前者包含原語音文 件中的語音特性，可改善兩階段語音文件摘要系統上，進行摘要時無法參考之原語音特 性；而後者則是為了改善前述之詞彙辨識錯誤，因辨識錯誤可能發生在詞彙中的部分區 塊，而導致斷詞時無法辨別正確的詞彙，若使用次詞資訊則可以使用周邊資訊推測錯誤 的部分其正確的語意。 2. 文獻回顧 (Related Work) 圖 1. 自動文件摘要的分類 [Figure 1. Category of Automatic document summarization] 自動文件摘要方法主要可依照四個面向分類（如圖 1），可依照來源、目的、功能及方 法等細分為不同類型： • 來源：主要分為單文件與多文件，前者指針對單一文件擷取摘要，後者則是統整歸 納多篇主題相近的文件重點產生摘要。多文件摘要通常會與查詢共同進行為以查詢 為主之多文件摘要，同時進行檢索與摘要。 • 目的：可分為一般性和查詢導向，一般性的摘要主要專注在文件中的主要重點；而 查詢導向則會根據查詢字串決定其摘要內容，而查詢導向的摘要通常會與多文件摘 要同時出現。 • 功能：大多數摘要是資訊性的，主要專注在產生原文件的簡短版本，能保留其重要 資訊；而較少數為指示性和批判性，此二者給予的摘要皆不包含原文的重要內容， 前者會指出文件的題目或領域等詮釋資料（Metadata）；而後者則是會判斷整份文件 是正面的還是負面的。 基於端對端模型化技術之語音文件摘要 33 • 方法：此分類方式最為常見，可概分為三種： 節錄式摘要（Summarization by extraction） 重寫式摘要（Summarization by abstraction） 語句壓縮式摘要（Summarization by sentence compression） 節錄式摘要與重寫式摘要之差異在於其產生摘要的原理不同。節錄式摘要是依據固 定之摘要比例(Summarization ratio)，從原文件中選出重要性高的語句、段落或章節 簡單組合成摘要。摘要比例是指摘要長度與原文件長度的比例，一般我們通常選用 10%的摘要比例，也就是摘要長度為原文件長度的 10%。而重寫式摘要主要會依原 文件中的完整概念，重新撰寫出摘要，因此摘要內容中可能還有非原文件中所使用 但不影響其語意的詞語。綜上所述，我們可以(Torres-Moreno, 2014)之示例簡單描述 節錄式摘要與重寫式摘要的優缺，以學習者為例，一個好的學習者在撰寫摘要時會 先閱讀過整篇文章，再以自己的方式撰寫，而得之摘要內容能前後通順且符合文章 旨意；而不好的學習者在撰寫摘要時，只會大略看過文章，並且挑選出「可能」重 要的語句，組合在一起作為摘要。但此方法得到之摘要可能包含某些不相關的內容， 且語句間的銜接可能會有內容不連貫或不通順的情況發生。除了較常見的節錄式摘 要及重寫式摘要外，語句壓縮式摘要比較特別一點，主要用於將語句長度縮減，此 方法可與節錄式摘要共同使用，而目前通常會將此方法歸類為重寫式摘要的一部 分。 本論文主要專注於一般性單文件節錄式摘要的研究。此外摘要亦可針對文件形式分 類，如常見的文字文件（Text documents）及包含語音資訊的語音文件（Spoken documents）， 針對不同文件形式，所使用的摘要模型細節也應有所變化。文字文件摘要係指一般以文 字內容為主的文件產生之摘要，大部分的摘要研究都屬於文字文件摘要；而語音文件摘 要則是使用含有語音資訊的文件，通常是透過語音辨識後得到的轉寫文件，其中可能會 含有一些語音辨識產生之錯誤，以及口語上無意義的資訊。因此，語音文件摘要會比文 字文件摘要更為困難，反之，語音文件包含語音資訊，可以提供摘要方法更多有意義的 資訊，能有效地抵銷其辨識錯誤。 此外，有鑒於深層學習的蓬勃發展，現今的技術大多是以端對端的深層類神經網路 架構為主。深層學習主要是模擬人類之學習模式，將深層類神經網路架構視為人類大腦 神經系統，並輔以大量資料進行訓練，使其能夠學習如何解決該研究問題。其架構中主 要學習的是輸入與輸出之間的關係，藉由將不同的輸入樣本投影至相同的空間中，我們 即可在該空間中將每個輸入樣本對應至正確的輸出，進而得到正確的結果。因此後續之 文獻探討將以端對端之深層學習方法為主。 2.1 節錄式摘要 (Extractive Summarization) 在節錄式文件摘要任務中，我們通常可以將其視為分類問題，因為我們要判斷文件中的 語句「是否」為摘要。而分類問題在深層學習技術中是最基本的問題，但是節錄式摘要 34 劉慈恩 等 任務還是有相當的難度，因為除了簡單的分類外，我們還需理解並解析出文件的重要資 訊，才能知道哪些語句有機會成為摘要。 (Cheng & Lapata, 2016) 將節錄式摘要任務視為一種序列標記及排序問題，其方法主 要的特色在於使用一階層式編碼器和含有注意力機制(Attention …

Content truncated to 500 words