Speech Emotion Recognition Based on CNN+LSTM Model

摘要 由於智能對話助理服務的普及，語音 情緒辨識已經變得越來越重要。在人 與機器的溝通中，情緒辨識與情感分 析能夠增強機器與人類的互動。本研 究使用 CNN+LSTM 模型實作語音情緒 辨識 (Speech Emotion Recognition, SER) 處理並進行預測。從實驗結果得知使 用 CNN+LSTM 模型相對於使用傳統 NN 模型取得更好的效能。 Abstract Due to the popularity of intelligent dialogue assistant services, speech emotion recognition has become more and more important. In the communication between humans and machines, emotion recognition and emotion analysis can enhance the interaction between machines and humans. This study uses the CNN+LSTM model to implement speech emotion recognition (SER) processing and prediction. From the experimental results, it is known that using the CNN+LSTM model achieves better performance than using the traditional NN model. 關鍵字：CNN、LSTM、情緒識別 Keywords: CNN, LSTM, Speech emotion recognition 1 Introduction 情緒定義為一種受到外在或內在刺激後引起 的心理感受或反應 [1]。每種情緒都有其獨特 的特徵：信號，生理和先前的事件。有別於 「心情」的表現，「情緒」通常是起效快， 持續時間短，發生率高的，因此也更能表現 語者當下的反應。情緒的表現與分類，最早 由 Tomkin 定義了八種情緒：驚訝、有趣、愉 悅、憤怒、害怕、嫌惡、羞愧、痛苦 [2]。後 續也有其他學者提出不同的分類方式，例如 Plutchik 以如同色輪一般的方式提出情緒輪的 分類 [3]，如下圖一情緒輪所示，輪中接近的 情緒是較為相似的，距離較遠之情緒則較無 關聯性，而相對之情緒，如高興相對於悲傷 則代表相反的情緒。不同的情緒如不同的顏 色一般可互相混合而成。為了將情緒表現分 類可視化，由 Posner、Russell 和 Peterson 學者 於 2005 年提出 [4] 將其投射在一個能表現情緒 相互關係二維空間中，並以表現出的愉悅程 度(valence)以及激發程度(arousal)劃分成四個 象限，又稱為情緒空間(Valence-Arousal space)， 如 Figure 1 所示。 Figure 1: 情緒空間 如何自訊號中抽取利於辨識的情緒特徵， 以及如何利用特徵正確辨識出情緒是重要的 議題 [5-7]。常見語音訊號特徵如韻律特徵 (prosodic feature) 以及音訊頻譜特徵 (spectral features)。其中韻律特徵以音節及短語等口語 斷點來計算該區段之音頻高低與聲音強度等 [5]，而音訊頻譜特徵以音框(frame) 作為音訊 基於 CNN+LSTM Model 之 之語音情緒識別 Speech Emotion Recognition Based on CNN+LSTM Model Wei Mou1, Pei-Hsuan Shen1, Chu-Yun Chu1, Yu-Cheng Chiu1, Tsung-Hsien Yang2 and Ming-Hsiang Su1 1 Soochow University, Taiwan 2 Telecommunication Laboratories Chunghwa Telecom Co. Ltd. 1 weiswlight, claire1015069, tp973632, jean199925, huntfox.su@gmail.com 2 yasamyang@cht.com.tw The 33rd Conference on Computational Linguistics and Speech Processing (ROCLING 2021) Taoyuan, Taiwan, October 15-16, 2021. The Association for Computational Linguistics and Chinese Language Processing 43 訊號之抽取單位，抽取各種低階語音特徵 (low-level descriptor, LLDs) 以及多個音框內低 階語音特徵之統計資訊 [8]。這些特徵可能缺 少對於情緒分析的客觀性 [9]，其忽略了訊號 中隱含的情緒特徵，無法完整模擬人腦在做 情緒辨識時所需的參考依據。近幾年，深度 學習的研究日漸進步，其對於語音訊號之特 徵抽取有重大的改進及貢獻，end-to-end 的特 徵抽取方法，經由訓練網路層，找到輸入訊 號與情緒目標之間的隱含關係，改善人為定 義特徵不客觀的問題[10]，已有許多研究使用 神經網路架構抽取音訊或頻譜 (spectrogram) 上 之音訊特徵。Table 1 介紹使用神經網路架構 的語音情緒辨識系統。 Table 1: 語音情緒辨識系統 Data Feature Extraction Corpus Recognition Spectrogram 1-layer 2D- CNN Germany, English LSTM [7] Waveform Auto-encoder EMO-DB SVM [11] Waveform 2-layer 1D- CNN eNTERFACE, MUSAN BLSTM [12] Spectrogram, waveform Multi-layer 1D-CNN Data from Cortana CNN [13] Waveform, Spectrogram 1-layer 1D- CNN, 1-layer 2D-CNN NNIME BLSTM [14] 由上述研究可以得知，現如今已有許多以 神經網路進行情緒辨識之研究，他們多使用 卷積神經網路 (convolution neural network, CNN) 進行特徵抽取，[7] 比較不同維度及層數的卷 積層對辨識的影響，發現單層卷積層的效果 較好，[7, 12, 14]皆使用長短期記憶模型(long short-term memory, LSTM)進行情緒特徵之分類， 能有效處理訊號時序上的前後關係，以提升 語音情緒之辨識效能。 2 Emotion Dataset EMO-DB 資料集 [15] 是由柏林工業大學錄製 的德語情感語音資料庫，由 10 位演員(5 男 5 女) 對 10 個語句 (5 長 5 短) 進行 7 種情感(中性 /nertral、生氣/anger、害怕/fear、高興/joy、悲 傷/sadness、 厭惡/disgust、 無 聊/boredom， 如 Figure 2 所示)的模擬得到，共包含 800 句語料， 採樣頻率 48kHz (後壓縮到 16 kHz)，16 bit 量 化。語料文本的選取遵從語意中性、無情感 傾向的原則，且為日常口語化風格，無過多 的書面語修飾。 Figure 2: 英/德語情緒對照表 語音的錄製在專業錄音室中完成，要求演 員在演譯某個特定情感前，必須通過回憶自 身真實經歷或體驗進行情緒的醞釀，來增強 情緒的真實感。經過 20 個參與者 (10 男 10 女) 的聽辨實驗，得到 84.3% 的聽辨識別率。這個 資料集經過聽辨測試後，保留 535 句(男性情 感語句 233 句�女性情感句 302 句)。其中語 句內容具有較高情感自由度 (包含日常生活用 語的 5個短句和 5個長句)，但不包含某一特定 情 感 傾 向 。 每 個 檔 案 的 命 名 意 義 如 下 ： Position1-2 對應該人的編號�Position3-5 對應 語音內容編號�Position6 對應情感編號（表一 紅框處，因檔名中以德語單詞首字母標記， 表一為英/德語之情緒詞語對照表）�Position7 若有兩種版本以上，則以 a, b, c 依序命名。 3 Convolution Neural Network 卷積神經網路 (Convolutional Neural Network, CNN) 由一個或多個卷積層和池化層(pooling layer) 組成。CNN 最開始的概念是經由 Hubel 等學者在生物領域上的研究而啟發 [16]，而後 在 1982 年由 Fukushima 等人將神經網路的架 構提出 [17]。之後 1995 年的 B. Lo 等人 [18] 與 1998 年的 Y. Lecun 等人 [19] 在神經網路的架 構中加入卷積層(convolution layer)、池化層 (pooling layer)等逐漸完善成現在的卷積神經網 路。基本的卷積神經網路包含卷積層以卷積 的方式取得局部資訊並透過激化函數做為特 徵、池化層將由卷積層而來的數值進行採樣 做為代表值，而最後全連接(full connection)至 目標輸出。本研究使用一維單層自適應卷積 神經網路架構進行聲音特徵抽取，如 Figure 3 所示。 The 33rd Conference on Computational Linguistics and Speech Processing (ROCLING 2021) Taoyuan, Taiwan, October 15-16, 2021. The Association for Computational Linguistics and Chinese Language Processing 44 Figure 3: 一維單層自適應卷積神經網路架構 4 …

Content truncated to 500 words