Exploiting the compressed spectral loss for the learning of the DEMUCS speech enhancement network

摘要 本研究針對著名的 DEMUCS 語音強化 模型、藉由修改其訓練時所需的損失 函數，來提升其效能。DEMUCS 由 Facebook團隊開發，主要由卷積層組成 其編碼模組與解碼模組，而兩模組之 間則以長短時記憶模型來對編碼模組 之 輸 出 加 以 分 解 或 降 噪 。 雖 然 DEMUCS 是一個純時域處理的語音強 化架構，其訓練所使用的損失函數， 卻同時涵蓋了時域和頻域的特徵，其 中頻域上的特徵即為訊號經短時間傅 立葉轉換所得的頻譜。 我們探討當 DEMUCS 之損失函數中的 頻譜其強度值做壓縮時，對於所訓練 而得的模型其效能是否有明顯的改變， 我們採用的壓縮運算主要是對頻譜強 度取一個小於一的正冪次方值，或對 頻譜強度取其對數值。 當在 VoiceBank-DEMAND 之資料集上 進行評估實驗時，初步結果表明，上 述之壓縮運算為取正冪次方值時，其 損失函數能使所學習的 DEMUCS 模型 比原 DEMUCS 模型更有效地提升測試 語音的客觀品質與可讀性指標(PESQ 與 STOI)，充分顯示引入次方壓縮性的頻 譜強度於損失函數中能得到語音強化 效能更佳的 DEMUCS 模型。相較而言， 當壓縮運算為對數函數時，則沒有改 進的效果。 Abstract This study aims to improve a highly effective speech enhancement technique, DEMUCS, by revising the respective loss function in learning. DEMUCS, developed by Facebook Team, is built on the Wave-U- Net and consists of convolutional layer encoding and decoding blocks with an LSTM layer in between. Although DEMUCS processes the input speech utterance purely in the time (wave) domain, the applied loss function consists of wave- domain L1 distance and multi-scale short- time-Fourier-transform (STFT) loss. That is, both time- and frequency-domain features are taken into consideration in the learning of DEMUCS. In this study, we present revising the STFT loss in DEMUCS by employing the compressed magnitude spectrogram. The compression is done by either the power- law operation with a positive exponent less than one, or the logarithmic operation. We evaluate the presented novel framework on the VoiceBank-DEMAND database and task. The preliminary experimental results suggest that DEMUCS containing the power-law compressed magnitude spectral loss outperforms the original DEMUCS by providing the test utterances with higher objective quality and intelligibility scores (PESQ and STOI). Relatively, the logarithm compressed magnitude spectral loss does not benefit DEMUCS. Therefore, we reveal that DEMUCS can be further improved by properly revising the STFT terms of its loss function. 關鍵字：語音強化、DEMUCS、短時傅立葉轉 換、損失函 數、壓縮頻譜損失、對數頻譜距離、 感知語音品質、短時語音可讀性 Keywords: speech enhancement, DEMUCS, STFT, loss function, compressed spectral loss, logarithmic spectral distance, PESQ, STOI 藉由壓縮性之頻譜損失函數以學習 DEMUCS 語音強化模型之初步研究 Exploiting the compressed spectral loss for the learning of the DEMUCS speech enhancement network 戴麒恩 Chi-En Dai 暨南大學電機系 National Chi Nan University s108323060@mail1.ncnu.edu.tw 洪啟瑋 Qi-Wei Hong 暨南大學電機系 National Chi Nan University s108323024@mail1.ncnu.edu.tw 洪志偉 Jeih-Weih Hung 暨南大學電機系 National Chi Nan University jwhung@ncnu.edu.tw The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 100 1 簡介 語音強化 (speech enhancement, SE) 目的在於抑 制語音中的加成性雜訊、通道干擾或混響、 以優化語音的品質或可讀性。現今，由於語 音分析技術的高度發展，逐漸落實於智慧生 活的諸多應用，例如手機的語音輸入、語音 檢索、語音操控機器人、助聽器等，但雜訊 的存在使這些應用或設備無法精準捕捉原始 乾淨語音之資訊、進而限制了語音技術在實 用性上的擴展，因此直接在接收端抑制雜訊 的語音強化技術相當重要性。 經典的語音強化技術通常是基於語音或雜訊 干擾的統計特性以建構模型，如頻譜消去法 (spectral subtraction) (Boll, 1979)、維納濾波法 (Wiener filter) (Scalart and Filho, 1996)、卡爾曼 濾 波 法(Kalman filter) (Dionelis and Brookes, 2018)等，為了在處理上減少延遲，它們所擷 取的訊號通常較短、其統計特性無法精準呈 現，進而限制了這些技術的效能，且其在非 穩態的雜訊環境中表現通常較差。 近 年 來 由 於 深 度 類 神 經 網 路(deep neural network, DNN) (Goodfellow et al., 2016; Hinton et al., 2012)之理論及技術的高度發展，基於 DNN 的語音強化技術也如雨後春筍地不斷湧 現，且其在非穩態雜訊場影中的強化效能通 常優於經典之基於統計特性的方法。一般來 說，基於 DNN 之語音強化法，根據其對於輸 入語音之特徵擷取的角度，大致可分為兩類： 時頻域(time-frequency domain, T-F domain)法 和 端 到 端(end-to-end)的 時 域(time domain)法 (Luo and Mesgarani, 2019; Yin et al., 2020)，二 類型的方法在不同的雜訊場景或語音資料的 表現各有優劣。時頻域法通常藉由短時傅立 葉轉換(short-time Fourier transform, STFT) 對輸 入語音創建時頻圖(spectrogram)，亦稱時頻域� (T-F)特徵，在對這些 T-F 特徵加以消噪或強化 後，進而用反短時離散傅立葉轉換(inverse STFT)重建原始的時域訊號波形(waveform)。 可是使用 STFT 建構的時頻域特徵可能存在缺 點或限制：首先，STFT 是一種固定的訊號轉 換法（使用固定的弦波基底），相較於時域 法其基底是由資料學習而得，時頻域法未必 較佳。其次，時頻法對於乾淨語音之頻譜的 相位成分通常無法精準的重建。 在諸多時域的語音強化法中，由 Facebook 團 隊所研發的 DEMUCS 法(Defossez et al., 2019; Defossez et al., 2020)（全名：Deep Extractor for Music Sources with extra unlabeled data remixed） 效能相當優異且廣為使用，它原本的目標是 對於不同音源的混合分離成個音源，但也可 以直接用於語音強化上（相當於把雜訊看成 與乾淨語音不同的另一個音源）。它主要是 由卷積層搭配跳躍連接(skip connection)的 U- net 模組來組成其編碼器-解碼器架構，而其訓 練所使用的損失函數則主要包含了兩項：時 域（或稱波域：wave domain）上的損失及時 頻域上的損失，後者之時頻域所用特徵即為 STFT 求得的時頻圖。 諸多文獻(Ephraim …

Content truncated to 500 words