Lightweight Sound Event Detection Model with RepVGG Architecture

結構性重參數化 VGG 架構之輕量化聲音事件偵測模型 Lightweight Sound Event Detection Model with RepVGG Architecture 劉家全 Chia-Chuan Liu, 黃頌仁 Sung-Jen Huang, 陳嘉平 Chia-Ping Chen 國立中山大學資訊工程學系 National Sun Yat-sen University Department of Computer Science and Engineering {m103040063, m093040011}@student.nsysu.edu.tw, cpchen@cse.nsysu.edu.tw 呂仲理 Chung-Li Lu, 詹博丞 Bo-Cheng Chan, 鄭羽涵 Yu-Han Cheng, 莊向峰 Hsiang-Feng Chuang, 陳威妤 Wei-Yu Chen 中華電信研究院 Chunghwa Telecom Laboratories {chungli, cbc, henacheng, gotop, weiweichen}@cht.com.tw 摘要 本文中提出以模型輕量化為目標的聲音 事件偵測 RepVGGRNN 模型。其於卷積 層使用 RepVGG 卷積塊，透過殘差連接 的網路結構使模型達到良好的效能，並 於模型訓練完畢後透過結構重參數化使 得卷積參數得以縮減。此外，其於訓練階 段合併使用知識蒸餾及均值教師模型之 訓練方法進一步提昇輕量化模型之預測 準確度。RepVGGRNN 在 DCASE 2022 Task4 驗證集中，PSDS(Polyphonic sound event detection score)-scenario 1, 2 分別以 40.8%, 67.7% 優於官方 baseline 系統所達 到的 34.4%, 57.2%，並在模型參數量上， RepVGGRNN 使用的參數量約為 49.6 萬， 僅 baseline 系統之 44.6%。 Abstract In this paper, we proposed RepVGGRNN, which is a light weight sound event de- tection model. We use RepVGG convo- lution blocks in the convolution part to improve performance, and re-parameterize the RepVGG blocks after the model is trained to reduce the parameters of the convolution layers. To further improve the accuracy of the model, we incorporated both the mean teacher method and knowl- edge distillation to train the lightweight model. The proposed system achieves PSDS (Polyphonic sound event detection score)-scenario 1, 2 of 40.8% and 67.7% outperforms the baseline system of 34.4% and 57.2% on the DCASE 2022 Task4 val- idation dataset. The quantity of the pa- rameters in the proposed system is about 49.6K, only 44.6% of the baseline system. 關鍵字：聲音事件偵測、輕量化模型、知識 蒸餾 Keywords: Sound event detection, Light weight model, Knowledge distillation 1 緒論 聲音事件偵測主要是利用機器來辨識聲音訊 號中是否存在特定事件，而機器除了辨識音訊 中的事件類別外，亦需標註事件發生的起始時 間與終止時間，隨著 DCASE challenge Task4 競賽的舉行，此研究項目亦成為了熱門的音 訊處理研究主題之一，許多企業如三星 (Chen et al., 2022), LG(Kim and Yang, 2022) 亦一 同參與競賽。在應用上，隨著移動端裝置及 物聯網裝置的興起，結合聲音事件偵測的應 用如 smart home, smart speaker 也隨之提出， 為日常生活帶來諸多便利性，但受限於硬體 上的限制，使得需要高度運算資源的高複雜 網路模型不利於佈署在這些裝置上，像是中 國語音技術團隊 (Zheng et al., 2021) 在卷積 層採用多分支卷積注意力機制，使得模型推 論時占用較大的記憶體空間與計算量，而日本 名古屋大學團隊 (Miyazaki et al., 2020) 使用 CNN 與 Transformer 結構，使得模型推論一 筆音檔時需要較高的運算成本，這些網路模型 雖然在事件偵測上有著高度的準確度，但其高 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 129 度運算需求之特性亦可能影響使用者的體驗。 在本篇論文中，我們以模型輕量化為目標提出 RepVGGRNN 模型，此模型在架構上採用近 年來 DCASE challenge Task4 參賽隊伍主流 採用的 CRNN 結構，並在 CNN 的部分參考 RepVGG (Ding et al., 2021) 卷積塊，於訓練 時使用多分支殘差連接 (He et al., 2016) 協助 訓練卷積層參數，並在訓練完畢後透過結構重 參數化將 RepVGG 精簡為 VGG (Simonyan and Zisserman, 2014) 使得模型整體推論時僅 使用單一分支 3 × 3 卷積層進行運算，相較於 MobileNet (Howard et al., 2017) 透過深度可 分離式卷積 (Depthwise separable convolution) 減少參數量，RepVGG 則是應用結構重參數 化將原先複雜的多分支卷積簡化為單一分支卷 積達到模型參數與運算時間上的縮減。除了模 型結構上的精進，我們於訓練階段中合併使用 知識蒸餾 (Hinton et al., 2015) 與均值教師模 型 (Tarvainen and Valpola, 2017) 之訓練方法 來改善輕量化模型不易於訓練的問題，使整體 模型兼具輕量及高準確性等特色。本文中其餘 的章節將如下編排：章節二：研究方法，描述 了模型架構與訓練方式；章節三：實驗設置， 描述網路參數之設置以及評估指標；章節四： 實驗結果，對比 RepVGGRNN 與 baseline 模 型、預訓練模型之間的差異；章節五：結論， 總結了我們所提出系統的特色。 2 研究方法 本章節描述 baseline 與 RepVGGRNN 模型 之間架構上的差異，後者於卷積層中使用 RepVGG 卷積塊使得模型在訓練階段透過不 同分支卷積得以學習多尺度特徵擷取，除了 模型本身的架構外，我們於訓練階段合併使用 知識蒸餾及均值教師模型提高資料本身的使 用度，進一步提升模型本身的效能，並且使用 mixup (Zhang et al., 2017) 資料增強來減緩模 型過擬合等現象。 2.1 Baseline 模型 本文中以 DCASE Task4 官方所提供的 CRNN 模型 (Turpault et al., 2019) 作為 baseline 系 統，模型整體如圖 1 所示使用 7 層卷積網 路層連接 2 層循環網路層，在卷積層的部分， 每層使用 3 × 3 大小的卷積核，各層濾波器的 數量分別為 16, 32, 64, 128, 128, 128, 128 個， 並以門控線性單元 (Gated Linear Unit,GLU) 作為激勵函數, 以及在各層卷積層中使用批標 準化 (Batch normalization) 與 dropout ，最 後，每層卷積層運算完畢後會再進行平均池 化，平均池化視窗的大小依序為 2 × 2, 2 × 圖 1. Baseline 系統：整體為 CRNN 模型，輸入 特徵會先經 7 層卷積網路進行特徵擷取，並透過 2 層雙向門控循環單元與全連階層產生強預測結果 與弱預測結果。 2, 1 × 2, 1 × 2, 1 × 2, 1 × 2 與 1 × 2。在 循環網路層的部分為 2 …

Content truncated to 500 words