Whisper Model Adaptation for FSR-2023 Hakka Speech Recognition Challenge

摘要 本文主要針對 FSR-2023 客語語音辨識 比賽所提供的語料以及文字標記進行 Whisper 模型的調適訓練。Whisper 模 型為基於自注意力機制的 Transformer 模型，其多樣性的語料以及弱標記的 多任務訓練使其在多種語音相關任務 中具有很好的強健性，尤其是在語音 辨識的任務。本研究透過加入自行收 集的客語語音語料以及透過不同大小 的批次以及迭代式的模型訓練方法， 嘗試獲得較穩健的客語語音辨識模型， 以期在本次競賽中獲得不錯的結果。 最終辨識結果在客文文字的辨識的任 務中，在練習賽獲得學生組第三的成 績。 Abstract This study focuses on the adaptation and training of the Whisper model using the provided data and text annotations from the FSR-2023 Hakka Speech Recognition Challenge. The Whisper model is based on the Transformer architecture with a self- attention mechanism. Its diverse data and weakly labeled multitask training make it robust across various speech-related tasks, especially in speech recognition. In this research, we attempt to achieve a robust Hakka speech recognition model by incorporating self-collected Hakka speech data and employing different batch sizes and iterative model training methods. Finally, the recognition results of the Hakka speech-to-character task achieved a third- place ranking in the student division. 關鍵字：客家語音辨識、端到端語音辨識、 Whisper 模型調適 Keywords: Hakka Speech Recognition, End-to-End Speech Recognition, Whisper Model Adaptation 1 Introduction 深度學習對於自動語音辨識（ASR）帶來了巨 大的影響和優勢。傳統的 ASR 系統(Yu, 2017) 以 HMM 為基礎，但在近年來的研究發展上， 深度神經網路（DNNs），已經在語音辨識方 面展現了相當大的進步。許多研究(Chan, 2016) 已經證明，DNNs 相對於傳統方法在語音辨識 的準確性上取得了巨大提升。此外，卷積神 經網路（CNNs）和循環神經網路（RNNs） 也 被 廣 泛 應 用 於 語 音 辨 識 和 合 成(Shen, 2018)(Zen, 2016)，它們在處理聲音數據方面表 現出色。由於深度學習領域的成功，引入了 許 多 新 的 技 術 ， 像 是 注 意 力 機 制(attention mechanism)與 延 伸 的 transformer 模 型(Wolf, 2020)。注意力機制允許模型集中注意力於輸 入資料中較為關鍵的部分；而 transformer模型 則有助於處理較長的序列資料。這些發展使 語音處理系統的性能和多功能性更進一步提 高，為不同領域的應用提供了更多可能性。 至於Whisper模型(Radford, 2022)，它是一種 基於 transformer的多任務模型，在語音辨識領 域中有非常出色的表現，尤其是在沒有微調 的狀況下便能有相當好的辨識結果。Whisper 在多種自然語言相關任務中表現也相當出色， 即使在嘈雜的背景環境或多語言情境下也能 保持高準確性。此外，Whisper 模型對於資料 預處理和標記的要求相對簡單，這使它在語 音處理中非常實用。它能夠處理多語言語音 辨識、翻譯和語言識別，這是由於訓練時採 用 了 多 樣 性 的 訓 練 數 據 和 相 應 的 標 記 。 Whisper 降低了語料前處理的需求，簡化了語 Whisper Model Adaptation for FSR-2023 Hakka Speech Recognition Challenge 運用 Whisper 模型調適於 FSR-2023 客語語音辨識競賽 Yi-Chin Huang Department of Computer Science and Artificial Intelligence National Pingtung University Pingtung city, Taiwan ychuangnptu@nptu.edu.tw Ji-Qian Tsai Department of Computer Science and Artificial Intelligence National Pingtung University Pingtung city, Taiwan aura01221@gmail.com The 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023) Taipei City, Taiwan, October 20-21, 2023. The Association for Computational Linguistics and Chinese Language Processing 音辨識流程，並且在無需微調的情況下，在 許多測試語料上都表現得相當不錯。 在本篇研究報告中，主要目的是處理客語 的語音辨識。客語的重要性在於根據客委會 105 年度全國客家人口暨語言基礎資料調查研 究 (客家委員會, 2015) 指出，全國客家人推估 約有 453.7 萬人，占全國 2349.2 萬人的 19.3%， 是台灣第二大主要族群。但隨著時間的推移， 年輕人對客語的使用和理解正在逐漸減少， 這導致客語文化可能逐漸失傳。為了保護和 保存這一重要的語言文化，為了保存客語的 文化，十分感謝主辦方舉辦此次比賽，我們 團隊也嘗試在加入自行收集的語料以及主辦 方所提供的語料，基於 Whisper 模型的架構下， 訓練出一套客語的語音轉文字的系統，希望 能夠助於保存和傳承客語文化。 2 Whisper model 介紹 Whisper是一個由OpenAI公司所開源的通用的 語音辨識模型，它經過大量多樣化的語音資 料訓練而成，可以應用於多種語言處理任務， 包括多語言語音辨識、語音翻譯和語言識別。 此模型是基於 transformer 的序列轉序列 (Seq2Seq)架構，進行了多種語音處理任務的 訓練，包括語音辨識、機器翻譯 (Johnson, 2017)、語音的語言識別 (Lopez-Moreno, 2014) 和語音活動檢測 (Zhang, 2012)。其中，為了達 到一套模型處理上述的多種不同任務，研究 人員對於收集的語料有以下幾個處理的方式， 在此簡述。首先，針對於訓練數據，其中包 含了不同環境、不同語言和不同說話者的多 樣語音數據，這有助於訓練出更全面的語音 辨識系統。 由於不同任務會有不同的標記方式，為了 解決文本標記可能出錯的問題(研究團隊透過 其他現有的辨識器來獲得可能的語音標記)， 所有的語料使用了自動過濾方法，像是若辨 識的結果較差，則不使用該語音、對於音檔 的語言也有一定程度上的限制，如果文字是 非英語的其他語言，則要求語音也必須是同 一種語言；如果文字是英語，則語音可以是 任何語言；另外，為了確保模型的強健性， 若使用語音的文本跟常見的語音辨識語料所 提供的相同，亦會濾除。 最後，將所有音檔切分為 30 秒 的片段，配 上對應文本，作為模型的訓練資料，總共 68 萬小時的音檔，以及相對應的標記；其中， 65%的資料（約 440k 小時）是英語語音及對 應的英語標記；約 18%（126k 小時）的資料 是非英語語音和英語文字標記；最後 17% （117k 小時）為非英語語音和相應的文字標 記，這些非英語資料包括了 98 種不同的語言。 Whisper 使用了 Transformer 模型，也就是常 見的 encoder-decoder 架構。聲音訊號的預處理 包括將音訊檔案重採樣到 16000 Hz，並計算 出 80 個頻道的梅爾頻譜，計算時視窗大小為 25ms，步長為 10ms。計算完梅爾頻譜後，將 數值正規化到介於 -1 到 1 之間，作為輸入資 料。對於每個音訊的 30 秒片段，因為每個區 段為 10ms，所以有 3000 個時間點，形成 3000x80 的 特 徵 。 經 由 資 料 處 理 後 ， 將 3000x80 的輸入資料通過兩個 1D 卷積層，得 到 1500x80 的特徵。編碼器(encoder)部分包含 2 層 1D 卷積層，濾波器大小為 3，啟動函數為 GELU， 第 二 層 卷 積 的 步 長 為 2； 解 碼 器 (decoder)部分則採用標準的 transformer decoder 結構，預期輸出不同任務的標記以及其對應 預設的 prompt。 根據其論文中實驗的結果，研究團隊發現 在不同語言之間的性能表現不均，特別是在 資源有限或發現性較低的語言以及訓練資料 較少的語言上，準確性較低。此外，在相同 訓練資料量的情況下，某些語言（例如中文 和韓文）的錯誤率相對較高(中文 WER 約為 20%)，可能因為這些東亞語言與主流語言差 異較大，難以從多語言聯合訓練中受益，或 是因為 Whisper 的 tokenizer 對這些語言不夠友 好，因為其實驗是採用 BPE (Kudo, 2018) 作為 標記方式。因此，本篇報告將著重於透過額 外加入自行收集的四縣腔客語語料以及人工 標記，針對不同的實驗方式來分析 whisper 在 客語的辨識結果。 The 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023) …

Content truncated to 500 words