Development of Mandarin-English code-switching speech synthesis system

中英文語碼轉換語音合成系統開發 Development of Mandarin-English code-switching speech synthesis system 練欣柔 Hsin-Jou Lien, 黃立宇 Li-Yu Huang, 陳嘉平 Chia-Ping Chen 國立中山大學資訊工程學系 National Sun Yat-sen University Department of Computer Science and Engineering m103040105@nsysu.edu.tw, m093040070@nsysu.edu.tw, cpchen@cse.nsysu.edu.tw 摘要 本論文提出中英文語碼轉換語音合成系 統。為了使系統可專注於學習不同語言間 的內容，利用已統一語者風格的多語言人 工資料集進行訓練。之後在合成器中加入 語言向量，以增加系統對多語言的掌握。 此外對輸入的中、英文分別進行不同的前 處理，將中文進行斷詞且轉為漢語拼音， 藉此增加語音的自然度，且減輕學習時的 複雜度，也透過數字正規化判斷句子中的 阿拉伯數字，是否需要加上數字單位。英 文部份則對複雜的頭字語進行讀音判斷與 轉換。 Abstract In this paper, the Mandarin-English code- switching speech synthesis system has been proposed. To focus on learning the con- tent information between two languages, the training dataset is multilingual artifi- cial dataset whose speaker style is unified. Adding language embedding into the sys- tem helps it be more adaptive to multilin- gual dataset. Besides, text preprocessing is applied and be used in different way which depends on the languages. Word segmen- tation and text-to-pinyin are the text pre- processing for Mandarin, which not only improves the fluency but also reduces the learning complexity. Number normaliza- tion decides whether the arabic numerals in sentence needs to add the digits. The preprocessing for English is acronym con- version which decides the pronunciation of acronym. 理關鍵字：語音合成、語碼轉換、資料前處 Keywords: speech synthesize, code- switching, text preprocessing 1 緒論 語碼轉換（Code-switching）是指在一句話或 多句話裡，含有一種以上的語言被交替使用， 這種情況在現今社會中十分常見，為因應這種 趨勢，語音合成系統也朝著多語言（Multilin- gual）的方向發展。現今的語料多為單語言， 較少有同一語者的多語言語料，這導致語碼 轉換在訓練時會遇到許多問題，像是語者無法 合成非母語的語句，亦或是語者隨著句子語言 轉換而改變的狀況。為解決上述問題，我們參 考任意語者風格中英文語音合成系統 (Wang, 2021)，做為我們的資料生成模型，給予系統 一個參考音檔，其可生成與參考音檔相同語者 風格的聲音訊號，藉此系統統一多語言資料集 的語者風格，以建置多語言語音合成系統。 在本文中，使用 FastSpeech2 (Ren et al., 2020) 做 為 合 成 器， 將 編 碼 器 與 解 碼 器 改 為 (Gulati et al., 2020) 所提出的 Conformer 架構，聲碼器使用 HiFi-GAN (Kong et al., 2020)。此外為增加系統對於多語言的掌握， 於合成器中加上語言向量（language embed- ding），並為句子依中、英文編上語言 ID（lan- guage ID），而語碼轉換的句子無法直接以單 一語言 ID 表示，對此在實驗中進行了處理。 我們發現因中文數量龐大、字詞讀音多變， 因此將中文字轉換為漢語拼音，降低系統學習 時的複雜度。此外也發現交雜在中文句子中的 阿拉伯數字，有需要數字單位與否的問題，於 是對此進行正規化。而在英文中經常使用的頭 字語，是指將一句話或較長的名詞，縮寫成連 續大寫字母，其發音分為字母讀音或視為新單 字，要系統完整學習所有的英文頭字語是較為 困難的，我們創建頭字語字典，以便進行分類 讀音方式，並進行轉換，我們透過對文本進行 資料前處理，以降低複雜度，提升中文、英文 語音合成之正確率。 論文之其餘章節安排如下，章節二：研究方 法描述系統架構、改進方法及文字前處理；章 節三：實驗設置描述資料集與模型參數設定； 章節四：實驗結果對基礎架構與改進後的系統 進行比較；章節五：總結我們系統的優點和未 來的改進方向。 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 116 2 研究方法 以 Conformer-FastSpeech2 加上語言向量作為 模型架構，為了提升中、英文語音合成的品 質，分別對輸入的中文和英文文本做不同的前 處理。在中文方面，使用中文斷詞、文字轉拼 音與數字正規化，英文則執行縮寫讀法判斷與 轉換，並且針對語碼轉換做語言 ID 編碼，與 因中、英文語速差異進行的調整。 2.1 多語言語音合成系統 在 本 文 中， 使 用 FastSpeech2 (Ren et al., 2020) 做 為 合 成 器， 聲 碼 器 使 用 HiFi- GAN (Kong et al., 2020)。 FastSpeech2 是 一 個 非 自 迴 歸 (Non- autoregressive) 的模型，可用更短的時間合成 出與自迴歸 (Auto-regressive) 模型相同品質 的語音。架構中的編碼器和解碼器使用 Trans- former 架構，在我們系統中將 Transformer 改 為 Conformer (Gulati et al., 2020)，並命名為 Conformer-FastSpeech2（CFS2）。Conformer 結合了 Transformer 和卷積模組 (Convolution module) 以增強效果，其網路包含前饋神經網 路（Feed Forward Module）、多頭自注意力機 制（Multi-Head Attention Module)、卷積模 組、層正歸化（Layer Normalization)。系統 架構如圖 1，而圖右半邊則為 Conformer 的架 構。 在 架 構 中 加 入 語 言 向 量， 並 將 其 和 phoneme embedding 串接在一起做為編碼器 的輸入。藉此提升系統合成多語言的表現，另 外，依照資料的語言給予編號，稱為語言 ID， 使用 0 和 1 為 language ID 分別表示英文與中 文。 2.2 中文資料前處理 由於人們在交談時是有些微停頓的，為了讓 系統學習語音這些細節，我們首先使用了 一個 python 工具名為 Jieba (Sun, 2012) 進 行中文斷詞（Word segmentation），當中共 有四種不同的斷詞模式，實驗中使用預設的 精確模式，利用將符號置於斷詞處，以表示 語句中的停頓，進而提升語音的自然度。此 外 Jieba 工具可自行匯入符合使用者需求的 字典，實驗中將 CKIP team (Ma and Chen, 2005) 的字典匯入，以提升斷詞的準確度，也 將 CLMAD (Bai et al., 2018) 整理成另一份擴 充字典，當系統應用於特殊領域時可匯入。 然而因為中文字本身數量龐大、字詞讀音 多變，要系統學習所有的字詞是過於複雜的， 因此不可直接將其作為輸入。於是我們利用 pypinyin 將中文字轉換成漢語拼音，其為一個 圖 1. Conformer-FastSpeech2 系統架構圖，基於 FastSpeech2 加入語言向量，右半邊為 Conformer 的架構，其基於 Transformer 架構再加上卷積模組 以增強效果。 grapheme-to-phoneme（G2P）的 python 工具， 以英文表示拼音，並用數字表示聲調（Tone）， 藉由此拼音組合的轉換簡單化中文的表示，使 系統可以用較簡單的方式學習中文的發音。 表 1 為中文斷詞及文字轉拼音的範例。 此外我們還發現，當阿拉伯數字若在中文句 子中時，會有是否需要唸出數字單位的差異， 數字單位是指個、十、百、千、萬等。因此我 們參考 1Chinese Text Normalization 作為基 礎概念，其做法為將數字的常用情況進行分 類，並以 Regular Expression 對數字找出相對 應的模式，再判斷是否需加上數字單位，然而 我們對模式內容進行修改，使其更貼近我們所 需，共有五大種模式，表 2 為各模式的例子 及正規化後的結果。 2.3 針對語碼轉換之處理 在訓練階段，使用英文和中文兩種語言 ID 進 行語言向量。然而在合成階段，若輸入為語碼 轉換的文本，無法單純以中文或英文予以編 號。為此設立編定語言 ID 於語碼轉換文本之 方法，如圖 2 所示，首先依語言分段輸入的 1https://github.com/speechio/chinese_text_ normalization The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) …

Content truncated to 500 words