ESC MA-SD Net: Effective Speaker Separation through Convolutional Multi-View Attention and SudoNet

摘要 本研究以人聲分離(speech separation) 為主題，研究如何將混合的多個人聲 信號成功分離。我們是利用端到端 (end-to-end)的 高 效 語 音 分 離 模 型 SuDoRM-RF 做 為 基 礎 ， 並 結 合 了 MANNER 模型中的殘差卷積轉換器區 塊(Residual Conformer Block)以及多視 角 注 意 力 區 塊(Multi-view Attention block)來達到高效的語音分離模型 ESC MA-SD Net。本模型中殘差卷積轉換器 區塊在於移除無用資訊的同時還能保 留重要語音信息，而透過多視角注意 力模塊則用以關注擷取對各個面向語 音特徵，如此一來，我們將可以得到 相較原本 SuDoRM-RF 模型更加高效的 語音分離模型ESC MA-SD Net。在我們 的實驗中，分別從驗證資料(Validation dataset)以及時頻圖(Spectrogram)來展示 提出之方法的良好的語音分離成效。 Abstract This study focuses on speaker separation, investigating how to successfully separate mixed multiple speech signals. We build upon the efficient end-to-end speech separation model SuDoRM-RF and integrate the Residual Conformer Block from the MANNER model along with the Multi-view Attention block to create the efficient speech separation model ESC MA-SD Net. The Residual Conformer Block in this model eliminates irrelevant information while preserving crucial speech details. The Multi-view Attention module is employed to capture diverse aspects of speech features. By doing so, we achieve a more efficient speech separation model, ESC MA-SD Net, compared to the original SuDoRM-RF model. In our experiments, we demonstrate the effectiveness of the proposed method using validation data and spectrograms to showcase the improved speech separation performance. 關鍵字：語音分離、殘差連接法、端到端模型 Keywords: Speech separation, Residual connect method, End to end module 1 緒論 (Introduction) 語音處理的技術隨著科技的進步不斷地在更 新，之前傳統的語音處理技術通常都是由數 個不同功能的模塊所組合而成，這些模塊都 需要個別去訓練，但這些模塊都是分開訓練、 使用不同訓練資料、要調整的參數也都不同， 這樣對整體模型的最佳化將造成困難。而近 年基於深度學習之模型架構、並使用了端到 端(end-to-end)(Amodei, D., Anubhai, R., Battenberg, E., et al. 2016) 的整體訓練模式，其 對應的優點是可以直接從原始的語音信號生 成對應的輸出，直接最佳化整體模型的輸出 結果、使其中各個模塊能夠在訓練過程中、 同時更新並彼此配合來使模型最終輸出趨於 目標輸出(ground-truth output)。本文所提出之 ESC MA-SD Net 語音分離模型的訓練即採用 端對端的模式。語音分離演算法可以依照訓 練目標(training target)、分成對映式(mapping) 以及遮罩式(masking)(Wang et al., 2014) 前者直 接求取輸入混合語音與輸出之分離語音的對 映函數，而這些對映函數所要轉換的語音特 徵通常包括了耳蝸時頻譜圖 (cochleagram) 、 梅爾倒頻譜(Mel-Frequency Cepstrum, MFCC)、 ESC MA-SD Net: Effective Speaker Separation through Convolutional Multi-View Attention and SudoNet 通過卷積多視角注意力和 SudoNet 進行高效的人聲分離 Jeih-weih Hung Dept. of Electrical Engineering National Chi Nan University Nantou County, Taiwan jwhung@ncnu.edu.tw Aye Nyein Aung Dept. of Electrical Engineering National Chi Nan University Nantou County, Taiwan s111356509@ncnu.edu.tw Che-Wei Liao Dept. of Electrical Engineering National Chi Nan University Nantou County, Taiwan s109323018@mail1.ncnu.edu.tw The 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023) Taipei City, Taiwan, October 20-21, 2023. The Association for Computational Linguistics and Chinese Language Processing 時頻圖(spectrogram)等；而後者則求取一個遮 罩函數，使此遮罩與原始混合語音相乘後， 能近似分離語音，此遮罩函數較著名的選擇 包 括 了 理 想 二 值 掩 蔽 （Ideal Binary Mask, IBM）、理想比例遮罩（Ideal Ratio Mask, IRM） (DeLiang Wang et al., 2018)、複數理想比例遮罩 (complex ideal ratio mask, cIRM)( Williamson D S., 2015)等等。本研究是針對效果優異的遮罩式 語 音 分 離 法 Successive Downsampling and Resampling of Multi-Resolution Features (SuDoRM-RF) (Efthymios Tzinis et al., 2020)加 以改進，過程中需要訓練出兩個不同的遮罩， 用以對混合的語音做相乘，以分離出兩個人 聲。 2 SuDoRM-RF SuDoRM-RF 語音分離模型是採用常見的編碼 器(encoder)、 分 離 器(separator)、 解 碼 器 (decoder)所組合而成的架構(如圖 1 所示)。這 個模型是採用時域分析特徵的語音分離模型， 根據文獻(Meta AI, 2023)指出，時域分析(time- domain analysis)的語音分離法相較於短時頻域 分析(time-frequency domain analysis)對於效能 指標 SI-SDR 的進步一般而言是較顯著的，因 為相較於對於固定基底轉換(弦波函數)的時頻 分析而言，時域分析可以訓練其轉換的基底， 對於語音分離模型的訓練上能有更多的彈性。 此外，它還有一項很重要的特點，是它在分 離層(separator) 使用了 U- convolutional block 模 塊，如圖 2 所示，可以有效的降低運算的複雜 度。 2.1 U-convolutional block 根據文獻(Efthymios Tzinis et al., 2020)顯示 U- convolutional block此種語音處理模型所使用的 參數相對於 Conv-TasNet (Yi Luo et al., 2019) 、 Two-Step TDCN (Efthymios Tzinis et al., 2020) 等 模型，使用較少的參數量，這是因為此模型 採用了連續下採樣與重採樣的模塊來做訓練， 它可以利用這種方式來建立資料與資料間的 關聯性，可擷取更多的聲音細節，讓聲音的 效果更好。而其中在重採樣的部分，可以通 過複製原始數據的方式，來增加採樣點數， 透過這種方式，可以在同樣的時間內，收集 更多的聲音資訊，讓分離後的聲音更加精確 清晰，而且在這過程中不需要增加任何參數。 這點可以使我們在訓練過程中使用到較少的 模型參數就可以達到很好的效果。 3 提出的新方法 (Proposed Method) 在本研究中，我們以 SuDoRM-RF 為基礎架構、 保留 U-convolutional Block 此參數之模型，但 參照了著名的語音強化模型 MANNER (Hyun Joon Park et al., 2022) 來改造 SuDoRM-RF，首 先，我們採用殘差卷積轉換器模塊 (Residual Conformer Block)來取代原本 SuDoRM-RF 中的 bottleneck 模塊，接著在其做完連續的下採樣 以及重採樣後添加了 MANNER 架構中的多視 角注意力模塊 (Multi-view Attention block) 進而 探究其是否能提升語音分離的效果。 3.1 殘 差 卷 積 轉 換 器 模 塊 (Residual Conformer Block) …

Content truncated to 500 words