Taiwanese-Accented Mandarin and English Multi-Speaker Talking-Face Synthesis System

臺灣口音中英雙語之多語者影音合成系統 Taiwanese-Accented Mandarin and English Multi-Speaker Talking-Face Synthesis System Chia-Hsuan Lin, Jian-Peng Liao, Cho-Chun Hsieh Kai-Chun Liao and Chun-Hsin Wu Department of Computer Science and Information Engineering National University of Kaohsiung, Taiwan {a1085512, a1085508, a1085540, a1085520}@mail.nuk.edu.tw wuch@nuk.edu.tw 摘要 本論文提出一個多語者影音合成系統，結 合語音複製與嘴型同步技術，透過取得任 意語者短暫的說話語音及影像片段，以零 樣本之遷移學習，來實現可即時翻譯的文 字轉人物說話影像。除此之外，我們利用 開源語料集訓練了多個臺灣口音的模型， 同時也提出使用注音作為合成器之文字嵌 入的方式，來提升系統合成中英交雜語句 的能力。透過此系統，使用者便可創造出 豐富的應用，且此技術之研究與應用，在 影音合成領域具有相當的新穎性。 Abstract This paper proposes a multi-speaker talking-face synthesis system. The sys- tem incorporates voice cloning and lip- syncing technology to achieve text-to- talking-face generation by acquiring audio and video clips of any speaker and using zero-shot transfer learning. In addition, we used open-source corpora to train sev- eral Taiwanese-accented models and pro- posed using Mandarin Phonetic Symbols (Bopomofo) as the character embedding of the synthesizer to improve the system’s ability to synthesize Chinese-English code- switched sentences. Through our system, users can create rich applications. Also, the research on this technology is novel in the audiovisual speech synthesis field. 關鍵字：多語者語音合成、語者驗證、語音 複製、語碼轉換、嘴型同步、人物說話影像 Keywords: Multi-Speaker TTS, Speaker Verification, Voice Cloning, Code-Switching, Lip-Syncing, Talking-Face Generation 1 緒論 隨著人工智慧技術的蓬勃發展，大量人機互 動相關的應用如雨後春筍般出現。而文字轉 語音技術便扮演了一個不可或缺的角色，相關 的研究也成了熱門的議題。現今，普通的單語 者語音合成技術已經非常成熟了，如 Google、 Microsoft 與 AWS 等皆有提供相關的應用程 式介面（Application Programming Interface， API）服務可供使用。有了這樣的基礎後，眾 多研究便希望可以將其延伸，發展出多語者語 音合成系統。 為了要實現多語者語音合成，並能應用在 沒有見過的目標語者上，亦即達到語音複製 （Voice Cloning）的效果，可透過引入語者驗 證（Speaker Verification）機制到文字轉語音 系統中的方式，也就是取一小段目標語者的聲 音，再利用遷移學習來合成與目標語者相似的 語音。該方法同時解決了訓練單語者語音合成 模型，需要同一名語者大量語音資料的困難。 然而目前大多數的研究都僅限在英文等外語， 缺乏有效且實用的中文內容，同時臺灣口音的 中文語音研究更是稀少。 有鑑於此，我們透過訓練影響口音最主要的 合成器模型，並實驗了多組語料集，其中包含 一個全臺灣口音中文語音的公開語料集 Com- mon Voice Corpus1，藉此提出了一個臺灣口 音的零樣本多語者語音合成系統（見圖 1 ），只 需要參考短暫的目標人聲，便可複製目標語者 之聲音，以產生任意內容的語音。我們也嘗試 以注音來建立合成器中的字元嵌入（Character Embedding），並進行中英混雜語句合成的開 發，有了語音複製的技術後，我們還可以將電 腦生成的語音，利用嘴型同步（Lip-Syncing） 的方式來合成出人物說話影像。 整合語音複製文字轉語音（Text-to-Speech， TTS）與嘴型同步，我們便可以建立一個文字 轉人物說話影像合成系統，透過輸入目標文 字、目標語者之語音與人臉（圖片或影片）， 即可產生目標語者在說目標文字的影像。我們 亦加入了語音辨識和語言翻譯模組，可以辨識 語者說話的原始內容，再進行中英雙向翻譯， 使目標語者說出不同語言。透過該系統，能創 1https://commonvoice.mozilla.org The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 40 圖 1. SemiTrue 系統介面 造出豐富的應用，如多國語言電影的配音工 作、演講錄音生成講者跨語影像等，而此技術 的應用在臺灣可說是前所未見的。 本文之架構分成第 1 章簡述研究之內容， 第 2 章介紹該領域的相關工作，第 3 章說明 系統設計，第 4 章設置實驗來驗證成果，最 後第 5 章為本研究之結論。 2 相關工作 語音合成可以從文字來產生自然且可以理解 的語音內容，而若要測量語音合成品質，主要 有兩個重要的依據：可理解性及自然度。在語 音合成技術發展的歷史中，經歷了許多的改進 與演變，目前最為熱門的技術，是基於神經網 路的端到端語音合成 (Wang et al., 2017; Shen et al., 2018)，能在有限資料的背景下，合成 出逼真的語音 (Ning et al., 2019; Tan et al., 2021)。在此基礎上，許多關於多語者語音合 成的想法被提出，包括建立語者編碼，並訓 練多個語者、利用語者驗證 (Jia et al., 2018; Lőrincz et al., 2021; Neekhara et al., 2021)， 來實現語音複製，或者透過語音轉換 (Zhang et al., 2019; Casanova et al., 2022) 來改變語 者的聲音。而隨者全球化發展，很多人會同時 使用多種語言，如中英夾雜的語句，這類可支 援語碼轉換（Code-Switching）的語音合成系 統 (Hung et al., 2019; Zhou et al., 2020)，也 成了熱門的研究重點。 在中文語音合成領域，也有不少的研究出 現 (Cheng and Chen, 2019; Hung et al., 2019; Wang and Chen, 2020; Wang and Huang, 2021)，其中 Wang and Huang, 2021 在改進 Tacotron 架構的同時，提供了有關語者驗證 和語音轉換，來實現語音複製的實作。 Wang and Chen, 2020 針對臺灣口音的中文語音合成 進行了研究，但未支援中英混雜語句的合成。 雖然中文語音合成的研究日漸增多，但卻鮮 少有研究將文字轉語音合成與人物說話影像 生成的領域結合，即便是外國有類似之研究 (Song et al., 2022)，也沒有包含語音複製的功 能，我們的研究涉及了在語音領域的多項研究 重點，包含臺灣口音、中文語音合成、語音複 製以及語碼轉換等，而配合人物說話影像生成 領域中嘴形同步技術，而提出的文字轉人物說 話影像合成系統，實屬相當創新的概念，值得 進一步研究發展。 3 系統設計 本研究提出了一個文字轉人物說話影像合成系 統，並將其命名為 SemiTrue。在本系統中， 使用者可以選擇設定輸入語言、輸出語言、目 標文字、3～8 秒的目標語音以及目標人臉， 其中目標人臉允許是圖片，或是長度大於合成 音訊的影片。若是選擇輸入圖片，在最終所呈 現的人物說話影像，則大部分會是靜態的，僅 有嘴部區域會隨音訊內容而產生變化。另外， 語音、圖片與影像皆有支援多種常見的格式， 但在音訊進入系統後會被轉成 WAV 格式，而 圖片或影像則會被自動縮放為適當的大小，以 利後續的合成工作。除了透過使用者上傳自定 義的目標語音與目標人臉外，系統中已有事先 載入好預設的語音與人臉，使用者僅需要輸入 任意文字，就能合成出人物說話影像。 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 41 Lip-Syncing Text Target Voice Target Face Translator Speech Recognizer Synthesized Audio Talking-Face Video Input / Output Modules Voice Cloning Identity Encoder Speech Encoder Face Decoder Visual Quality Discriminator Lip-Sync Expert Speaker Encoder Vocoder Text Encoder Attention Decoder + + 圖 2. SemiTrue 系統架構 SemiTrue 的整體架構，大致可以區分成以 下四個模組：語音辨識、翻譯、語音複製以 及嘴型同步。SemiTrue 整合了多個開源專案， 並利用 FastAPI2 實作成網頁 API 服務，供使 用者以網路請求的方式，來進行語音和影像的 合成。同時，我們也建置了網頁前端，以圖形 使用者介面來展現系統的功能。 SemiTrue 的運作流程如圖 2 所示，先將目 標文字與目標音訊，依照輸出語言的不同，輸 入語音複製模組中對應語言的複製器，來產生 合成音訊，再將合成音訊與目標人臉之圖像或 影像輸入嘴型同步模組（見圖 3），最終得到 一段人物說話影像。在系統處理的過程中，根 據不同使用者的需求，輸入之語音可以進行語 音辨識，轉成文字內容，再進行文字翻譯後， 才放入語音複製模組。如此一來就可以使目標 人物，以其聲音說出不同語言的翻譯內容。 在 後 面 的 幾 個 小 節 中， 我 們 將 …

Content truncated to 500 words