NSYSU-MITLab團隊於福爾摩沙語音辨識競賽2020之語音辨識系統 (NSYSU-MITLab Speech Recognition System for Formosa Speech Recognition Challenge 2020)

Computational Linguistics and Chinese Language Processing Vol. 26, No. 1, June 2021, pp. 17-32 17  The Association for Computational Linguistics and Chinese Language Processing NSYSU-MITLab 團隊於福爾摩沙 語音辨識競賽 2020 之語音辨識系統 NSYSU-MITLab Speech Recognition System for Formosa Speech Recognition Challenge 2020 林洪邦、陳嘉平 Hung-Pang Lin and Chia-Ping Chen 摘要 本論文中，我們描述了 NSYSU-MITLab 團隊在福爾摩沙語音辨識競賽 2020 (Formosa Speech Recognition Challenge 2020, FSR-2020) 中所實作的系統。我 們使用多頭注意力機制 (Multi-head Attention) 所構成的 Transformer 架構建立 了端到端的語音辨識系統，並且結合了連續性時序分類 (Connectionist Temporal Classification, CTC) 共同進行端到端的訓練以及解碼。我們也嘗試將 編碼器更改為結合卷積神經網路 (Convolutional neural network, CNN) 與多頭 注意力機制的 Conformer 架構。同時我們也建立了深度神經網路結合隱藏式 馬可夫模型 (Deep Neural Network-Hidden Markov Model, DNN-HMM) ，其中 我們以時間限制自注意力機制 (Time-Restricted Self-Attention, TRSA) 及分解 時延神經網路 (Factorized Time Delay Neural Network, TDNN-F) 建立深度神 經網路的部分。最終我們在台文漢字任務上得到最佳的字元錯誤率 (Character Error Rate, CER) 為 43.4% 以及在台羅拼音任務上取得最佳的音節錯誤率 (Syllable Error Rate, SER) 25.4%。 Abstract In this paper, we describe the system team NSYSU-MITLab implemented for Formosa Speech Recognition Challenge 2020. We use the Transformer architecture  國立中山大學資訊工程學系 Department of Computer Science and Information Engineering National Sun Yat-sen University E-mail: m083040013@g-mail.nsysu.edu.tw; cpchen@mail.cse.nsysu.edu.tw 18 林洪邦與陳嘉平 composed of Multi-head Attention to construct an end-to-end speech recognition system and combine it with Connectionist Temporal Classification (CTC) for end-to-end training and decoding. We have also built a deep neural network combined with a hidden Markov model (DNN-HMM). We use Time-Restricted Self-Attention and Factorized Time Delay Neural Network (TDNN-F) for the deep neural network in DNN-HMM. The best performance we have achieved with the proposed methods is the character error rate of 45.5% for Taiwan Southern Min Recommended Characters (台文漢字) task and syllable error rate 25.4% for Taiwan Minnanyu Luomazi Pinyin (台羅拼音) task. 關鍵詞：自動語音辨識、Transformer、Conformer、連續性時序分類、聲學模 型 Keywords: Automatic Speech Recognition 、 Transformer 、 Conformer 、 Connectionist Temporal Classification、Acoustic Model 1. 緒論 (Introduction) 近年來由於硬體效能的提昇以及深度學習 (Deep Learning) 理論的蓬勃發展，人工智慧 成為了熱門的研究議題，無論在圖像、文字、語音等應用上皆可看到其蹤影。自動語音 辨識 (Automatic Speech Recognition, ASR) 是深度學習中一個重要的應用， 在過往經常 使用隱藏式馬可夫模型-高斯混合模型 (Hidden Markov Model-Gaussian Mixture Model, HMM-GMM) 來建立語音辨識模型，之後隨著深度學習的發展，出現了結合深度神經網 路 (Deep Neural Network) 的 DNN-HMM。時延神經網路 (Time Delay Neural Network, TDNN) 以及長短期記憶 (Long Short-Term Memory, LSTM) 所構成的神經網路應用在 DNN-HMM 上獲得了不錯的成效(Peddinti et al., 2018)，而時間限制自注意力機制 (Time-Restricted Self-Attention, TRSA) 也被證實可以用來代替網路中的 TDNN 或 LSTM (Povey et al., 2018)。近年來自動語音辨識中端到端 (End-to-End) 方法成為了另一個熱門 的研究項目，端到端的語音辨識系統能夠將聲音訊號輸入至一個模型便可直接輸出對應 的文字序列。連續時序性分類 (Connectionist Temporal Classification, CTC) (Graves et al., 2006)以及基於多頭注意力機制 (Multi-head Attention) 的 Transformer 架構 (Vaswani et al., 2017) (Dong et al., 2018)皆可做為端到端語音辨識的模型，其中又出現了結合兩者的 目標函數共同進行訓練混合模型(Karita et al., 2019)。 現今的語音辨識系統在英文以及中文等資源豐富的語言上已經能達到很好的辨識 效果了，但是對於台語等資源相對較稀少的語言卻尚未有足夠的研究。我們參加了台語 語音辨識競賽 FSR-2020 (Liao et al., 2020)，並針對台文漢字任務建立了端到端的台語語 音辨識模型，以及針對台羅拼音數字調任務建立了 DNN-HMM 以及端到端的台語語音辨 識模型。本文分為四個部分：第一部分為緒論；第二部分為研究方法，介紹端到端的語 音辨識模型架構以及 DNN-HMM 的模型架構；第三部分為實驗，介紹資料集、實驗設置 以及實驗結果；第四部分為結論。 NSYSU-MITLab團隊於福爾摩沙語音辨識競賽2020之語音辨識系統 19 2. 研究方法 (Research Methods) 2.1 端到端模型架構 (End-to-End Model Architecture) 2.1.1 Transformer編碼器 (Transformer Encoder) 我們使用的端到端模型架構由 Transformer 的編碼器以及解碼器所構成，並且利用編碼器 的輸出計算連續時序性分類 (Connectionist Temporal Classification, CTC)，模型架構如圖 1 所示。我們使用的聲學特徵是 80 維的 Fbank (Filter bank) 加上 3 維的音調 (Pitch)，首 先我們會先以兩層 ��� 個卷積核 (kernel)、步長 (stride size) 2 、卷積核大小為 3 的卷 積神經網路 (Convolutional neural network, CNN) 降低輸入特徵的維度，得到新的特徵 ���� ∈ ��������� ，其中 ��� 為注意力機制的特徵維度大小。第i層編碼器計算流程如下： �� � ���� � �� (1) �� � � Layernorm��� � MHA���, ��, ���� (2) ���� � Layernorm��� � � FF��� ��� (3) 圖 1. Transformer-based 模型架構 [Figure 1. Transformer-based model architecture] 20 林洪邦與陳嘉平 由於多頭注意力機制無法取得輸入序列的前後位置資訊，因此輸入編碼器的特徵要再額 外加上位置編碼 �� (Positional Encoding) (Vaswani et al., 2017)。多頭注意力機制 MHA 的計算方式如下： attention��, �, �� � softmax � ��� √���� � (4) �� � attention���� �, ��� �, ��� �� (5) MHA��, �, �� � ���, ��, … , ����������� (6) 其中 �, � ∈ ������ 以及�� ∈ …

Content truncated to 500 words