2020福爾摩沙臺語語音辨識比賽之初步實驗 (A Preliminary Study of Formosa Speech Recognition Challenge 2020 – Taiwanese ASR)

Computational Linguistics and Chinese Language Processing Vol. 26, No. 1, June 2021, pp. 33-42 33  The Association for Computational Linguistics and Chinese Language Processing 2020 福爾摩沙臺語語音辨識比賽之初步實驗 A Preliminary Study of Formosa Speech Recognition Challenge 2020 – Taiwanese ASR 余福浩、盧克函、王繹崴、張維哲、黃偉愷、陳冠宇 Fu-Hao Yu, Ke-Han Lu, Yi-Wei Wang, Wei-Zhe Chang, Wei-Kai Huang and Kuan-Yu Chen 摘要 為研究當前深度學習語音辨識模型於臺文與臺羅拼音之語音辨識任務之成效， 本研究使用 2020 福爾摩沙臺語語音辨識競賽(Formosa Speech Recognition Challenge 2020, FSR-2020)所提供之臺文語音語料庫(TAT-Vol1)以及公視臺語 台訓練語料，並基於 ESPnet 與 Kaldi，比較數種模型架構、訓練方法與參數於 臺語語音辨識之成效。最終，在 2020 福爾摩沙臺語語音辨識競賽裡，我們的 系統在臺文辨識(Track2)中取得 66.1%的錯誤率，而在臺羅拼音辨識(Track3) 方面，我們所得到的錯誤率為 28.6%。 Abstract In order to study the effectiveness of the current deep learning-based speech recognition models in the speech recognition tasks of Taiwanese Southern Min Recommended Characters and Taiwan Minnanyu Luomazi Pinyin, this study uses the corpora provided by the 2020 Formosa Speech Recognition Challenge 2020 (FSR-2020) to evalutae some neural-based ASR systems by ESPnet and Kaldi toolkits. In the end, our system achieved a 66.1% error rate in the Taiwanese Southern Min Recommended Characters recognition (Track2), and the error rate we got in the Taiwan Minnanyu Luomazi Pinyin recognition (Track3) was 28.6%. 國立臺灣科技大學資訊工程系 Department of Computer Science and Information Engineering, National Taiwan University of Science and Technology E-mail:{M10815004, M10915010, M10915036, M10915082, M10915012, kychen}@mail.ntust.edu.tw 34 余福浩 等 關鍵詞：臺文，臺羅拼音，臺語語音辨識 Keywords: Taiwanese Southern Min Recommended Characters, Taiwan Minnanyu Luomazi Pinyin, Taiwanese ASR 1. 緒論 (Introduction) 臺語(Taiwanese)又稱為臺灣話、臺灣閩南語，是臺灣地區許多人的母語（本土語言）， 由於過去華語政策的影響，中文(Mandarin Chinese)逐漸取代各地區母語，包括臺語、客 家語以及各族之原住民語，成為臺灣目前主流的溝通語言。然而，能夠流利使用傳統母 語的人數逐年下滑，以聯合國教科文組織對語言提出的世代傳承指標(Intergenerational Language Transmission)來看，臺語已處於確定瀕危(Definitely Endangered)（指小孩不再 於家中如同學習母語一樣學習此語言）至嚴重瀕危（只有祖父母或更老一輩的人會說此 語言；儘管父母這一代人可能理解，但不會對小孩說）之間。因此，如果小孩不再學習 及使用臺語，臺語極有可能在幾十年後就成為指標中滅絕(Extinct)的語言。 近年來由於深度學習的興起，在語音辨識(Speech Recognition)領域中，深度學習模 型也已逐漸取代傳統機率式模型，在許多資料集上也早已超過傳統模型，獲得相當好的 辨識成果。語音辨識資料集不僅蒐集不易，語料的標註(Labeling)構是耗時費工。臺語， 因為不是主流語言，要找到熟悉臺語的人士進行語料標註，就顯得更加地不容易。因此 要進行臺語語音辨識器的訓練，就得面對低資源(Low-resource)甚至是無資源的問題。為 維護臺語文化，北科大錄製了臺文語音語料庫(Taiwanese Across Taiwan corpus, TAT corpus) (Liao et al., 2020)並舉辦了臺語語音辨識競賽(Formosa Speech Recognition Challenge 2020, FSR-2020)，比賽項目則分為三大類型，分別為將臺語語音資料辨識為繁 體中文字的 Track1（即翻譯任務），以及將其辨識為臺文的 Track2 與臺灣閩南語羅馬字 拼音的 Track3。在這個研究中，我們以將臺語辨識為臺文的 Track2 與臺灣閩南語羅馬字 拼音的 Track3（臺羅數字調，不考慮音調部分）為研究主題，嘗試使用目前主流之端對 端(End-to-end)語音辨識器進行臺語語音辨識之任務。 2. 方法 (Methods) 2.1 競賽2: 臺文辨識 (Track2: Taiwanese Southern Min Recommended Characters Recognition) 由於近年在語音辨識上基於深度模型之自動語音辨識器蓬勃發展 (Watanabe et al., 2017; Gulati et al., 2020; Dong et al., 2018)，在許多資料集上都達到比傳統模型更好的成果，也 因此這些方法逐漸取代了傳統的機率式模型（例如隱藏式馬可夫(Hidden Markov Model, HMM)模型(Bahl et al., 1986)）。因此，在本研究中，我們採用基於連結時序分類 (Connectionist Temporal Classification, CTC)以及注意力機制(Attention Mechanism)的混合 架構(Watanabe et al., 2017; Watanabe et al., 2018)，探討當前語音辨識模型於臺文語音辨 識的成效。 2020福爾摩沙臺語語音辨識比賽之初步實驗 35 2.1.1 模型架構 (Model Architectures) 我們採用目前端對端語音辨識模型的主流架構，即基於 CTC 以及 Attention 的混合模型 (Hybrid CTC-Attention based Models) (Watanabe et al., 2017)，並使用端到端的語音處理工 具 ESPnet(End-to-end Speech Processing Toolkit) (Watanabe et al., 201 8)進行實作。ESPnet 可用來完成如語音辨識、語音合成等任務，在模型方面 ESPnet 提供了很多經典的模型供 開發者做使用，如：Transformer (Watanabe et al., 2017; Vaswani et al., 2017; Dong et al., 2018)、Conformer (Gulati et al., 2020)、RNN (Elman, 1990; Hochreiter & Schmidhuber, 1997; Cho et al., 2014)等架構；在模型後端的神經網路框架有 Pytorch 及 Chainer 兩個版本可供 選擇；在語音特徵預處理方面，使用 Kaldi 來提取語音特徵；做為一個主流的開源軟體， ESPnet 也提供了許多常見語音辨識資料集之範例腳本（如：AISHELL、Librispeech、WSJ 等）。因此基於 ESPnet，可以藉由修改各個部件來完成一套新的模型架構，也可以修改 範例腳本，就可以基於新的資料集訓練出一套新的語音辨識器。 圖 1. ESPnet 中的 Transformer 模型架構圖。 [Figure 1. Model architecture of the ESPnet.] 圖 1 為我們採用的 ESPnet 架構圖，圖中左方為編碼器(Encoder)右方為解碼器 (Decoder)。由架構圖可觀察出與 Speech Transformer (Dong et al., 2018)型相比，此模型在 編碼器的輸出部分有加上 CTC 的模組。在編碼器部分，ESPnet 提供了各式各樣的神經 網路模組供選擇，如：全連接神經網路或是卷積神經網路等，預設情況下 ESPnet 會使用 兩層步幅為 2 的卷積層對輸入語音訊號進行降維並接著數層 Transformer 抽取出高層次的 表示法，最後透過一個全連接層並計算輸出與訓練資料標籤的連結時序分類誤差，此外 36 余福浩 等 依照原始 Transformer 解碼器的設計，會將編碼器的輸出傳遞至解碼器，作為解碼器中第 二個多頭注意力(Multi-Head Attention)層中的鍵值(Key)及值(Value)。在解碼器輸入部分， ESPnet 提供了一般的嵌入層(Embedding)及全連接層供開發者選擇，此部分主要是用來將 訓練資料標籤內的每個字元或詞轉變為向量的形式，以便進行後續的運算，最後 ESPnet 會將訓練資料標籤先進行標籤平滑化(Label Smoothing)，再接著計算解碼器輸出與訓練 資料標籤的相對熵(KL Divergence)誤差，以利模型在後續進行參數更新時使用。 更明確地，ESPnet 在訓練時，會將 CTC 誤差 ���� 與解碼器的相對熵誤差 ���� 透 過超參數 α 進行線性插值： � � α���� � �1 � α����� (1) 而至於兩者之間的權重 α 為開發者可自行調整的參數，後續會利用相加過後的誤差來 計算梯度並更新模型的參數；預測階段 ESPnet 使用 Beam Search 的方式進行解碼，並且 在解碼階段可選擇是否要套用 RNN 語言模型來輔助模型進行預測。 2.1.2 ROVER 語音辨識模型可以透過許多方法來優化辨識的結果，例如透過提取更好的特徵或降低雜 訊影響力的方式來優化模型的表現，亦或是混合多種模型的輸出結果，透過投票和重新 評分的流程來決定最後的模型輸出。因此，在本研究中，我們首先訓練了許多不同架構 與參數的模型後，再利用 ROVER(Recognizer Output Voting Error Reduction) (Fiscus, 1997) 將模型間的輸出結果進行整合。ROVER 能夠透過投票和重新評分的過程來決定最後的 輸出，進而降低預測結果的錯誤率。圖 2 為 ROVER 的示意圖。 圖 2. ROVER 系統示意圖。 [Figure 2. System diagram of the Rover.] ROVER 由兩大模組所組成，分別為對齊模組(Alignment Module)以及投票模組(Voting Module)。對齊模組會將各個辨識系統產生的結果進行對齊，接著投票模組會對每一個候 選字計算一個介於 0 至 1 之間的信心分數(Confidence Score)，信心分數為 0 表示沒有任 何信心，1 則表示有完全的信心。最後，投票模組有三種投票評分方式，分別為完全依 靠詞頻(Word Frequency)進行投票、同時考慮詞頻與平均信心分數以及考慮詞頻與最高信 心分數等方法。在本研究中，我們僅使用詞頻作為投票的依據。 …

Content truncated to 500 words