Mandarin-English Code-Switching Speech Recognition System for Specific Domain

針對特定領域之中英語碼語音辨識系統 Mandarin-English Code-Switching Speech Recognition System for Specific Domain 邱川溥 Chung-Pu Chiou, 林厚安 Hou-An Lin, 陳嘉平 Chia-Ping Chen 國立中山大學資訊工程學系 National Sun Yat-sen University Department of Computer Science and Engineering m103040061@nsysu.edu.tw, m093040066@nsysu.edu.tw, cpchen@cse.nsysu.edu.tw 摘要 本文將介紹利用自動語音辨識 (Automatic Speech Recognition, ASR) 技術處理帶有 特 定 領 域 的 語 音 內 容。 我 們 將 以 Con- former 端到端模型做為系統架構，並利用 純中文資料進行初步訓練，再以遷移式學 習（Transfer learning）技術對系統以中英 語碼轉換 (Mandarin-English Code Switch- ing) 資料進行一次微調，最後利用帶有特 定領域的中英語碼轉換資料對模型進行最 終微調，使其在特定領域的語音辨識上達 到一定的效果。我們以不同微調方式進行 實驗，最終錯誤率從 82.0% 降到 34.8%。 Abstract This paper will introduce the use of Auto- matic Speech Recognition (ASR) technol- ogy to process speech content with specific domain. We will use the Conformer end-to- end model as the system architecture, and use pure Chinese data for initial training. Next, use the transfer learning technology to fine-tune the system with Mandarin- English code-switching data. Finally, use the Mandarin-English code-switching data with a specific domain makes the final fine- tuning of the model so that it can achieve a certain effect on speech recognition in a specific domain. Experiments with differ- ent fine-tuning methods reduce the final er- ror rate from 82.0% to 34.8%. 關鍵字：語音辨識、語碼轉換、語音識別、 語言模型、遷移式學習 Keywords: Speech Recognition、Code switching、Language model、Transfer learn- ing 1 緒論 近幾年在全球疫情的影響下，許多會議以及 課程等事項都逐漸以遠距的方式來執行。而在 課程方面，有些老師或機構都紛紛成立自己的 Youtube 頻道，並將原先實體授課的內容紀錄 下來再上傳到 Youtube 中，此做法能夠避免 在疫情嚴重的情況下造成群聚的風險，學生也 能夠更方便的學習知識。 雖然將課程放上 Youtube 能夠方便學生學 習，但影片的錄製方式也會直接影響到播放的 聲音品質。當影片錄製是直接在課堂上進行收 音時，整段影片音訊會充滿各種環境噪音，學 生也因此不容易聽清楚老師所講授的內容。對 於以上問題可以利用人工添加字幕的方式來 解決，不過此方法非常耗時耗力。我們希望利 用語音辨識（Automatic Speech Recognition, ASR）系統來提昇上字幕的效率，但課程中難 免會受到課程領域而有不同中文和英文專有名 詞的影響，因此本論文提出針對特定領域的中 英語碼轉換語音辨識（Mandrin-English Code- Switching Speech Recognition System For Spe- cific Domain）系統。 本文基於 (Lin and Chen, 2021) 的實驗方 法，但在基礎架構上採用 Conformer (Gulati et al., 2020b) 端到端（End-to-End, E2E）架 構來進行實驗。 在實驗中，首先以中文資料集先對 ASR 模 型進行訓練，當作具有中文能力的基礎語音 辨識系統。另外，我們從 Youtube 擷取一些 教育相關內容的語音資料，並分成 Education 資料集與 Course 資料集。接著使用由 (Wang and Zheng, 2015) 所提出的遷移式學習（Trans- fer Learning）對中文 ASR 模型以帶有中英語 碼轉換的 Education 資料集進行一次微調，使 其能學習處理中英夾雜的語音，另外也使用帶 有領域資訊的 Course 資料集進行一次微調， 來與前者進行比較。最後利用以 Education 資 料集微調後再以 Course 資料集微調的二次微 調與上述兩者比較，藉此使我們的 ASR 模型 達到能夠處理特定領域中專有名詞的能力。 在接下來的章節中，第二章會詳細介紹我們 的實驗架方法，第三章為使用的資料集與實驗 設置，第四章將呈現我們的實驗結果和結果分 析，第五章為我們本次實驗的結論與見解。 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 200 圖 1. Conformer 架構，連續時序分類器 (Con- nectionist Temporal Classification, CTC) 和 Trans- former 解碼器將接收到 Conformer 編碼器的輸出。 2 實驗方法 我們使用 Conformer 端到端架構聯合訓練連 續時序分類器 (Connectionist Temporal Classi- fication, CTC) (Graves et al., 2006) 當作 ASR 模型，而在編碼器與解碼器上結合 (Lin and Chen, 2021) 所利用到的 Contextual Block Processing (Tsunoo et al., 2019) 和 Block- wise Synchronous Beam Search (Tsunoo et al., 2020) 使 ASR 模型擁有 Streaming 的效果，其 中 Contextual Block Processing 如圖 2 所示。 實際訓練過程中以中文資料集來訓練一個中 文語音辨識系統，再利用遷移式學習以 Edu- cation 資料集進行一次微調當作基準，並以 Course 資料集做二次微調後來與基準做比較， 另外也單獨以 Course 資料集行一次微調加入 比較。以下將介紹我們使用的模型架構以及訓 練方法。 2.1 端到端模型 本篇論文我們所使用的 Conformer 端到端 ASR 模型架構如圖 1 所示，其利用 Con- former 區 塊 取 代 了 Transformer (Vaswani et al., 2017) 編碼器的部分。Conformer 架構 如圖 1 所示。 2.2 編碼器 輸入的 80 維梅爾頻譜圖（mel-spectrogram） 資料首先會經過由兩層捲積神經網路（Convo- lutional neaural network）和 ReLU 激活函數 圖 2. Contextual Block Processing 示意圖。其中 ui 為 block，並包含著數個 frames，這些 frames 將被標記成過去、目前、未來 {Nl, Nc, Nr} 三個 部份。在訓練過程中，較後面的 block 將繼承前面 block 的訊息。 所組成的降採樣模塊（Subsampling Convolu- tion），kernel 大小為 3 及 stride 為 2，channel 數為 256，其中 channel 為自注意力機制（Self- attention）特徵的維度。經過降採樣後的音訊 序列資料會輸入到數個 Conformer 區塊 (Gu- lati et al., 2020a) 中，其結合自注意力機制和 卷積，前者學習交流 global 等級的資訊，而 後者捕捉 local 等級的資訊。Conformer 區塊 之架構如圖 1 左側所示，輸入 ai 進到第 i 個 Conformer 區塊產生輸出 xi 之數學表示式為: ˜a = ai + 1 2FFN(ai) a′ i = ˜ai + MHSA(˜ai) a′′ i = a′ …

Content truncated to 500 words