探究端對端混合模型架構於華語語音辨識 (An Investigation of Hybrid CTC-Attention Modeling in Mandarin Speech Recognition)

Computational Linguistics and Chinese Language Processing Vol. 24, No. 1, June 2019, pp. 39-50 39  The Association for Computational Linguistics and Chinese Language Processing 探究端對端混合模型架構於華語語音辨識 An Investigation of Hybrid CTC-Attention Modeling in Mandarin Speech Recognition 張修瑞、趙偉成、羅天宏、陳柏琳 Hsiu-Jui Chang, Wei-Cheng Chao, Tien-Hong Lo, Berlin Chen 摘要 近年來端對端(End-to-End)語音辨識的出現，簡化了許多傳統語音辨識的繁複 流 程 。 端 對 端 語 音 辨 識 中 ， 最 主 要 的 模 型 架 構 分 別 為 連 結 時 序 分 類 (Connectionist Temporal Classification, CTC)與注意力模型(Attention Model)。本 論文嘗試結合上述兩種模型架構(即 CTC-Attention 混合模型)於華語會議語音 辨識之使用，以期能進一步提升語音辨識的效能。為此，我們分析模型結合時 混合權重調整的影響，並進一步探究 CTC-Attention 混合模型對於短句的辨識 效果。在中文會議語料的實驗結果顯示，相較於傳統語音辨識的 TDNN-LFMMI 模型，CTC-Attention 混合模型在語句較短時，可具有較好的一般化能力 (Generalization)。 Abstract The recent emergence of end-to-end automatic speech recognition (ASR) frameworks has streamlined the complicated modeling procedures of ASR systems in contrast to the conventional deep neural network-hidden Markov (DNN-HMM) ASR systems. Among the most popular end-to-end ASR approaches are the connectionist temporal classification (CTC) and the attention-based encoder-decoder model (Attention Model). In this paper, we explore the utility of combining CTC and the attention model in an attempt to yield better ASR performance. we also analyze the impact of the combination weight and the  國立台灣師範大學資訊工程研究所 Department of Computer Science and Information Engineering, National Taiwan Normal University E-mail: {60647061S , 60647028S , teinhonglo , berlin}@ntnu.edu.tw 40 張修瑞 等 performance of the resulting CTC-Attention hybrid system on recognizing short utterances. Experiments on a Mandarin Chinese meeting corpus demonstrate that the CTC-Attention hybrid system delivers better performance on short utterance recognition in comparison to one of the state-of-the-art DNN-HMM settings, namely, the so-called TDNN-LFMMI system. 關鍵詞：CTC、Attention、端對端中文語音辨識、短句辨識 Keywords: CTC, Attention-based Encoder-Decoder, End-to-End Mandarin Chinese Speech Recognition, Short Utterance Recognition 1. 緒論 (Introduction) 隨著近幾年來深度學習技術的長足發展，在語音辨識任務上，深度類神經網路結合隱藏 式馬可夫模型(Deep Neural Network-Hidden Markov Model, DNN-HMM) (Hinton et al., 2012)與傳統的高斯混合模型結合隱藏式馬可夫模型(Gaussian Mixture Model-Hidden Markov Model, GMM-HMM) (Rabiner, 1989) (Gales & Yang, 2008)相比，在字錯誤率 (Character Error Rate, CER)和詞錯誤率(Word Error Rate, WER)有了大幅度的下降。然而， 儘管 DNN-HMM 已取得不錯的成果，但 DNN 聲學模型仍無法充分利用語音信號之時間 依賴性的缺點，為了更好地捕捉該性質，過往學者們引入了遞歸類神經網路(Recurrent Neural Network, RNN) (Hochreiter & Schmidhuber, 1997) (Gers, Schmidhuber & Cummins, 1999)及長短期記憶模型(Long Short-Term Memory, LSTM) (Graves, Mohamed & Hinton, 2013) (Graves, Jaitly & Mohamed, 2013) (Sak, Senior & Beaufays, 2014) (Sak, Vinyals & Heigold, 2014) (Li & Wu, 2015)組成聲學模型。這類的聲學模型與 DNN 相同，在訓練時 仍是使用最小交互熵(Cross Entropy, CE)的準則，並且也能夠再進一步結合序列式鑑別式 訓練(Kingsbury, Sainath & Soltau, 2012) (Veselý, Ghoshal, Burget & Povey, 2013)得到更好 的辨識效果。 語音辨識可以視為一種序列對序列的任務，將輸入的語音訊號對應輸出的文字序列。 在傳統語音辨識器的訓練中，分別由聲學模型、語言模型及發音詞典構成，並且在訓練 DNN 前，還得透過預先訓練的 GMM-HMM 將聲音與文字強制對齊，因此需要額外的冗 餘步驟。有別於傳統的語音辨識訓練，CTC 訓練準則使得聲學模型可直接將聲學特徵透 過類神經網路輸出對應到的字符(Character)或音素(Phone) (Graves et al., 2013) (Graves, Fernández, Gomez & Schmidhuber, 2006)，甚至在資料量夠大(通常大於 3000 小時)時能夠 直接對應到單詞(Soltau, Liao & Sak, 2016) (Li, Ye, Das, Zhao & Gong, 2018)，並且在解碼 時可以不需要語言模型，這樣的做法稱之為端對端的訓練方式。另一方面，有鑑於 CTC 端對端模型的成功，且基於 Attention 的遞歸類神經網路已被廣泛應用於各個研究領域 (Bahdanau, Cho & Bengio, 2015) (Xu et al., 2015)，(Chorowski, Bahdanau, Serdyuk, Cho & Bengio, 2015)也將此模型應用於語音辨識的任務上，得到接近 CTC 的 WER。在後續其 他學者研究中，在大量語料的情況下，Attention 模型的 WER 甚至能逼近辨識效果很好 的 CLDNN-HMM 模型(Convolutional Long Short-Term Memory, Fully Connected Deep 探究端對端混合模型架構於華語語音辨識 41 Neural Networks, CLDNN) (Chan, Jaitly, Le & Vinyals, 2016)。 雖然端對端的訓練方式相較於傳統的 DNN-HMM 訓練更加簡單，但在少量語料下， 其效能仍與傳統的 DNN-HMM 模型有一段差距。為此，(Kim, Hori & Watanabe, 2017) (Watanabe, Hori, Kim, Hershey & Hayash, 2017)，使用 CTC-Attention 模型 (Hybrid CTC-Attention Model)。該方法為結合 CTC 與 Attention 模型的多任務學習架構，目的是 希望利用 CTC 彌補 Attention 模型對齊錯誤(Misalignment)及收斂慢的問題。在(Kim et al., 2017) (Watanabe et al., 2017)的實驗結果顯示，CTC-Attention 模型可在少量語料下，能夠 更接近甚至低於 DNN-HMM 模型的辨識率。因此，本篇論文希望基於此模型對於中文會 議語料的辨識做研究探討，我們的貢獻可分為： 1. 不同 Attention 機制的辨識結果：在長句測驗集實驗結果中發現使用 Coverage Location 效果比 Location 機制好，而在短句實驗則反之。 2. CTC 的權重對於辨識結果之影響：一般來說情況下，多任務架構訓練之聲學模型可優於 傳統 CTC 或 Attention 模型。 3. CTC-Attention 混合模型於短語句測試之影響：短句辨識任務上，當使用較大的 CTC 權 重作為解碼參數，可以得到最好的效果。 …

Content truncated to 500 words