Investigation of feature processing modules and attention mechanisms in speaker verification system

探討語者驗證系統中特徵處理模組與注意力機制 Investigation of feature processing modules and attention mechanisms in speaker verification system 陳廷威 Ting-Wei Chen, 林威廷 Wei-Ting Lin, 陳嘉平 Chia-Ping Chen 國立中山大學資訊工程學系 National Sun Yat-sen University Department of Computer Science and Engineering {m103040017, m093040020}@student.nsysu.edu.tw, cpchen@cse.nsysu.edu.tw 呂仲理 Chung-Li Lu, 詹博丞 Bo-Cheng Chan, 鄭羽涵 Yu-Han Cheng, 莊向峰 Hsiang-Feng Chuang, 陳威妤 Wei-Yu Chen 中華電信研究院 Chunghwa Telecom Laboratories {chungli, cbc, henacheng, gotop, weiweichen}@cht.com.tw 摘要 本論文建構並替換不同的音訊特徵前處理 模組與注意力機制來改進語者驗證系統。 我們使用了基於 ECAPA-TDNN 所改進 的模型作為基準模型，並透過替換與組合 不同的前處理模組與注意力機制來進行比 較，以選出最佳的組合作為論文提出的最 終模型。訓練上我們使用了 VoxCeleb 2 資料集進行訓練，並使用多個測試集來測 試模型的表現。最終模型在 VoxSRC2022 驗證集中對比基準模型有 16% 的進步幅 度，成功在語者驗證系統上取得了更好的 成效。 Abstract In this paper, we use several combinations of feature front-end modules and attention mechanisms to improve the performance of our speaker verification system. An up- dated version of ECAPA-TDNN is chosen as a baseline. We replace and integrate different feature front-end and attention mechanism modules to compare and find the most effective model design, and this model would be our final system. We use VoxCeleb 2 dataset as our training set, and test the performance of our models on sev- eral test sets. With our final proposed model, we improved performance by 16% over baseline on VoxSRC2022 valudation set, achieving better results for our speaker verification system. 關鍵字：語者驗證、前處理模組、注意力機 制、時延神經網路 Keywords: speaker verification, front- end module, attention mechanism, Time De- lay Neural Network 1 緒論 隨著資訊科技的日新月異，大量的數位化資 訊充斥在我們的生活當中，透過各式各樣新穎 的設備，任何事物、資料都可以被電子化的儲 存，並隨時傳送到地球上的任何地方，這使得 人們得以跳脫固有的時間與空間上限制，能以 更為宏觀的視角來探索這個世界。然而，當每 個人對這些通訊設備的依賴度越來越高時，個 人資訊被不合法的洩漏、利用的情形也日漸增 加，如何保護自身的資訊安全是一個非常迫切 的議題。 語者辨識技術便是其中一項在近年來越來越 受到重視的資訊防護方法，藉由這項技術，我 們可以將語者的聲紋特徵轉換成具有語者特徵 的嵌入向量，透過比對這個嵌入向量來對當前 語者的身分進行確認，以防止個人資訊被偽造 及竊取。 近年來，有許多過去在圖像領域發光發熱的 模型結構被帶入到聲學領域當中，並為語者驗 證技術帶來了極大的突破，像是以時延神經網 路（Time Delay Neural Network, TDNN）作為 主幹，並在其中引入了 Res2Net (Gao et al., 2019) 多分支卷積結構與 SENet (Hu et al., 2018) 注意力機制的與基於傳統二維卷積神 經網路建構的 ResNet (He et al., 2016a)，兩 者都在近年的語者驗證競賽中取得亮眼的表 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 84 現。而鑒於兩種截然不同架構都在競賽上取 得優秀的成果，希望能夠集合兩種架構優點的 新型架構被研究出來，也就是 ECAPA CNN- TDNN (Thienpondt et al., 2021)。在該模型 中，ResNet 結構被設計為 ECAPA-TDNN 的 前處理模組，用於降低輸入音檔特徵頻譜圖在 頻率軸上的偏移，透過卷積操作重組與保留較 重要之特徵訊息。該結構在實驗上進一步的提 高模型的表現，並為語者驗證模型的變化性增 加了更多的可能性。 在 本 篇 論 文 中， 我 們 使 用 基 於 ECAPA- TDNN 架構進行改進的 Improving ECAPA- TDNN (Zhang et al., 2021) 做為基底，透過 修改部份結構以提出 IM ECAPA-TDNN 做為 本次的基準模型，並將其依照 ECAPA CNN- TDNN 的架構設計進行擴增。我們的實驗與 分析集中在不同的前處理模組以及注意力機制 上。首先，我們會將前處理模組替換為不同的 結構進行訓練，除了原始的 CNN 結構外，我 們另外實驗了預激活的 CNN 結構以及導入兩 個維度注意力的 MFA 模組 (Liu et al., 2022)。 之後我們會取這三組模型中表現較好的模型替 換其中使用的注意力機制，將原有的 SE 模組 分別替換成 CBAM 模組 (Woo et al., 2018) 以 及 GC 模組 (Cao et al., 2019)。在我們的最 終模型中，使用了預激活的 2D CNN 模組作 為前處理模組以及 CBAM 模組作為模型的注 意力機制，在 Voxceleb 1-O、Voxceleb 1-E、 Voxceleb 1-H 及 VoxSRC2022 測試集上都實 現了比起基準模型更好的表現。 本文主要分為五個部份，第一部份為緒論； 第二部份為研究方法，會介紹使用到的資料前 處理方法、模型架構、特徵前處理模組以及注 意力機制；第三部份為實驗設置，說明實驗所 使用到的資料集、參數設置以及評估準則；第 四部份為實驗結果，會比較不同前處理模組與 注意力機制的實驗數據，並根據實驗結果進行 分析與討論；第五部份為結論。 2 研究方法 在這個章節我們將會詳細的講解本次實驗所 使用到的各種方法，包含對輸入音檔進行的處 理、主幹模型架構的細節、不同前處理模組以 及不同注意力機制的介紹。實驗上我們使用了 VoxSRC 官方所提供的訓練工具 (Chung et al., 2020) 進行訓練，並以 IM ECAPA-TDNN 做 為基準模型，透過結合不同的前處理模組以及 注意力機制觀察這些改動對模型效能所造成的 影響。 2.1 資料前處理 為了提高模型的強健性以及避免產生過度擬和 （overfitting）的狀況，我們利用了資料增強的 方法增加訓練資料的多樣性。透過對訓練音檔 加入噪音跟迴響，能夠有效的提昇模型的泛化 能力，使其在推論階段的表現更加優秀。而在 將音檔轉換為特徵向量方面，在參考了近年競 賽中各隊伍的作法後，我們選用梅爾頻譜作為 主要聲學特徵。 2.1.1 資料增強 我們使用了兩種用於資料增強的資料集來對我 們的訓練資料進行強化。首先是透過 MUSAN 資料集 (Snyder et al., 2015) 來為輸入音檔加 入噪音，在 MUSAN 資料集中共分成了三個 部份，分別為語音（speech）、音樂（music）， 以及噪音（noise），語音部份的內容全都是來 自公共場合中的背景說話聲，包含朗讀書本章 節以及美國政府部門聽證會等等，語音部份總 共由 12 種語言組成，其中以英語的比例為最 多；音樂部份的內容包含了多種不同時期、流 派的音樂，比如有傳統流派的巴洛克、浪漫、 古典音樂，也有流行流派的爵士、藍調、嘻哈 音樂等等；噪音部份的內容則包含了科技性 噪音（如撥號音、傳真機噪音等）以及環境聲 音（如雷聲、雨聲、動物噪音等），有些檔案 也會有包含模糊的人群噪音。另一個則是利用 RIR（Room Impulse Response，空間脈衝響 應）資料集 (Ko et al., 2017) 將音檔加入迴響 （Reverberate），在 RIR 資料集中有真實與模 擬的聲音資料，我們只會使用模擬的空間音進 行資料增強。 2.1.2 聲紋特徵擷取 我們使用 80 維的梅爾頻譜（Mel-filter bank features，FBank features）作為我們的主要聲 學特徵，理由是相較於梅爾倒頻譜係數（Mel- Frequency Cepstral Coefficients，MFCC）來 說，梅爾頻譜因為沒有經過 DCT 變換，使得 其保留了更多的聲音訊號資訊，能夠在分析語 者特徵上取得更好的結果。 2.2 模型架構 在 ECAPA-TDNN 推出之後，得益於優秀的 多層聚合策略以及多尺度特徵卷積，該模型在 各個語者驗證競賽中都取得優秀的表現，許多 人也以其架構作為基底進行不同程度的改良。 本篇論文我們以基於 ECAPA-TDNN 改進的 Improving ECAPA-TDNN 作為基底，配合後 續實驗進行調整，降低了模型計算量並維持 相近之模型表現。我們把修改後的模型命名為 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) …

Content truncated to 500 words