NSYSU-MITLab Speech Recognition System for Formosa Speech Recognition Challenge 2023

1 000 001 002 003 004 005 006 007 008 009 010 011 012 013 014 015 016 017 018 019 020 021 022 023 024 025 026 027 028 029 030 031 032 033 034 035 036 037 038 039 040 041 042 043 044 045 046 047 048 049 050 051 052 053 054 055 056 057 058 059 060 061 062 063 064 065 066 067 068 069 070 071 072 073 074 075 076 077 078 079 080 081 082 083 084 085 086 087 088 089 090 091 092 093 094 095 096 097 098 099 NSYSU-MITLab 之語音辨識系統於 Formosa Speech Recognition Challenge 2023 NSYSU-MITLab Speech Recognition System for Formosa Speech Recognition Challenge 2023 Anonymous ROCLING submission 摘要 在本論文中將會描述 NSYSU-MITLab 在 本次 Formosa Speech Recognition Chal- lenge 2023 (FSR-2023) 所使用的語音識別 系統。我們使用了預訓練模型 wav2vec2.0 再加上 Enhanced Branchformer 與我們對 其改進的 Dynamic Convolution Enhanced Branchformer ，構成我們在 Track-1 客語 辨識漢字任務以及 Track-2 客語辨識拼音 任務的參賽模型，並用兩者中表現較好的 作為最終輸出結果的系統。最終，我們將 以模型 wav2vec2.0 ＋ Enhanced Branch- former 作為客語辨識漢字任務的輸出系 統，在決賽測試集下 CER 為 52.2% 。 模型 wav2vec2.0 ＋ Dynamic Convolution Enhanced Branchformer 將會作為拼音任 務的輸出系統，同樣在主辦方給予的測試 集下 SER 為 46.8%。 Abstract In this study, the speech recognition sys- tem will be introduced, used by NSYSU- MITLab, for Formosa Speech Recogni- tion Challenge 2023. We use the pre- trained model wav2vec2.0 as the frontend module in both the Enhanced Branch- former system and the Dynamic convolu- tion Enhanced Branchformer system. The Dynamic Convolution Enhanced Branch- former system is refined from the En- hanced Branchformer system. We will choose the best CER one in the Taiwanese Hakka Recommended Characters test set, as the final model for Track-1. The system will be the final model for Track-2, with lower WER in the Taiwan Hakka Pinyin test set. organizers.Both test sets are released by Finally, we decided on the wav2vec2.0 ＋ Enhanced Branchformer sys- tem for Track-1 which gets 52.2% CER on the final test. The wav2vec2.0 ＋ Dy- namic convolution enhanced branchformer system is chosen for Track-2 which gets 46.8% SER on the final test. 關鍵字：語音識別、客家語 Keywords: Auto speech recognition, En- hanced branchformer, Dynamic convolution 1 Introduction 語音識別是一種將輸入的音檔轉成對應文字 的任務。模型可以從訓練資料集學習與分析 特徵，從而解析出最有可能的文字。近年來， 在語音識別任務的領域裡，利用端到端的架 構可以使該任務獲得很不錯的成績，因此這 樣的架構逐漸變得熱門，例如：卷積神經網 路 (Convolution Neural Networks,CNNs) 以及 Transformers。卷積神經網路的核心概念為藉 由卷積核，對輸入特徵進行卷積，模型能藉由 參數學習如何最佳化卷積核，從而擷取 local feature 又或者說是高頻特徵。Transformers 使用自注意力機制，藉由計算在時間或序列上 特徵間的相互關係，擷取 global features 又或 者說是低頻特徵。 近年來，在台灣會說客家語的人逐漸的減 少，客家語逐漸成為一種失落的語言，客家 文化也逐漸沒落。因此，客語語音識別系統 會是是維護客家文化的一大關鍵。我們很榮 幸參與了這次 2023 年的 Formosa Speech in the Wild (FSW) 計畫中的客語語音識別競賽 Formosa Speech Recognition Challenge 2023 (FSR-2023)。在本次競賽中，我們將會使用 Enhanced Branchformer (E-Branchformer) 以 及對 E-Branchformer 進行改進的 Dynamic Convolution Enhanced Branchformer (DCE- Branchformer) 參 與 客 語 語 音 識 別 競 賽 中 Track-1 客語辨識漢字任務以及 Track-2 客語 辨識拼音任務。漢字任務會是從客語語音辨 識出其漢字結果，例如：今晡日係拜二。而 拼音任務則是從客語語音辨識出其對應的拼 音結果，例如：gim24 bu24 ngid2 he55 bai55 ngi55。 E-branchformer 是由 Branchformer (Peng et al., 2022) 改進而來，Branchformer 的結構 The 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023) Taipei City, Taiwan, October 20-21, 2023. The Association for Computational Linguistics and Chinese Language Processing The 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023) Taipei City, Taiwan, October 20-21, 2023. The Association for Computational Linguistics and Chinese Language Processing Hong-Jie Hu Chia-Ping Chen NSYSU NSYSU jie12504469@gmail.com cpchen@cse.nsysu.edu.tw 2 100 101 102 103 104 105 106 107 …

Content truncated to 500 words