整合個人化磁振造影深度神經網路之演算法技術 (Joint Modeling of Individual Neural Responses using a Deep Voting Fusion Network for Automatic Emotion Perception Decoding)

Computational Linguistics and Chinese Language Processing Vol. 23, No. 1, June 2018, pp. 35-48 35  The Association for Computational Linguistics and Chinese Language Processing 整合個人化磁振造影深度神經網路之演算法技術 Joint Modeling of Individual Neural Responses using a Deep Voting Fusion Network for Automatic Emotion Perception Decoding 謝宛庭、李祈均 Wan-Ting Hsieh and Chi-Chun Lee 摘要 不論在腦神經科學領域中，抑或是情感計算領域裡，理解聲音情感感知的潛在 神經感知機制仍然是一個重要的研究方向。現今許多研究已顯示受試者中表現 出的 fMRI 信號的大幅變動是由於個體差異的影響，即受試者間的變異性。然 而，相對較少的研究開發用於處理此種特性的自動神經感知解碼任務中的建模 技術。本研究中，我們通過學習在融合層應用的調整後的權重矩陣，提出了一 種新的深度投票融合神經網絡結構的計算方法。該框架在四級聲音情緒狀態解 碼任務中達到了 53.10％的 UAR 準確率，即相對於兩階段 SVM decision score 融合的改善 8.9％。此外我們嘗試音檔與 fMRI 資料的融合，藉由兩者資訊互 通使得準確率可提升至 56.07%。我們的框架不僅證明了其處理個體差異的有 效性，我們還加入音檔資訊，使得難過情緒分類結果大幅提升。 關鍵詞：個體差異、功能性磁振造影、聲音情緒認知、深度投票融合神經網路 Abstract In the era underlying grouping life, affective computing and emotion recognition are closely bonding with daily life, and impose great impact on social ability. Understanding the individual differences is significant factor that should not be ignore in fMRI analysis while most of the brain studies on fMRI seldom truly deal  國立清華大學電機所 Department of Electrical Engineering, National Tsing Hua University E-mail: stv7879694@gapp.nthu.edu.tw; cclee@ee.nthu.edu.tw 36 謝宛庭與李祈均 with it, we carry out a system considering individual variability to recognize the emotion to the vocal stimuli with BOLD signal. In our work, we propose a novel method using multimodal fusion in a voting DNN framework, where we utilize a mask on weight matrix of fusion layer to learn an individual-influenced weight matrix and realize voting in this network, and achieve 53.10% in UAR for a four-class emotion recognition task. Our analysis shows that the multimodal voting net is an effective neural network encoding individual differences and thus enhances the ability to emotion recognition. Further the join of audio feature also boosts the result to 56.07%. Keywords: Individual Difference, fMRI, Vocal Emotion, Perception, Deep Voting Fusion Neural Net 1. 緒論 (Introduction) 現今功能性磁振造影的技術(functional Magnetic Resonance Imaging, fMRI)使得我們得以 利用其擷取的血氧濃度相依對比訊號(Blood oxygen-level dependent, BOLD)觀察大腦中 複雜的情緒認知機制(Zhou, Wang, Zou, Zhou & Qian, 2013; Fossati et al., 2003)。其中，血 氧濃度相依對比訊號中具多樣性，即便是受到相同刺激的受試者也可能產生極大不同的 血氧濃度相依對比訊號，而造成此現象的原因十分複雜，但大多與人體間本質上的差異 有關，這也說明為何每個人都是一個與眾不同的個體。事實上神經科學相關的研究逐漸 重視個體差異的議題，舉例來說，一些過去的研究顯示若僅僅將多個受試者的功能性磁 振造影資料平均則會大幅地減少與腦袋結構有關的重要資訊(Van Horn, Grafton & Miller, 2008) (MacDonald, Nyberg, Sandblom, Fischer & Bäckman, 2008) (Kanai & Rees, 2011)；此 外，Canli 等人也指出存在大量個體差異且不加以處理的資料也會造成較差的辨識結果以 及錯誤的分析(Canli, Sivers, Whitfield, Gotlib & Gabrieli, 2002)。另外在一份延伸的研究中， Hamann 等人證實在腦區在處理情緒上更容易受到個體差異的影響(Hamann & Canli, 2004)。 在神經科學領域中，大多數的研究探討個體差異的方法為最常見的方式是列出每個 人的分析結果再畫出相關性(correlation plot)來討論個體差異，例如 Dubois 等人透過在個 人層面生成相關圖，驗證科學假設和收集的 fMRI 信號的可靠性(Dubois & Adolphs, 2016)； Parasuraman 等人使用類似的方法來觀察個體差異如何影響工作記憶和決策的認知過程 (Parasuraman & Jiang, 2012)。這些方法揭示了考慮個體差異的重要性。然而，在開發用 於從 fMRI 數據自動解碼人類情感感知的算法的背景下（例如，Wu, Chen, Liao, Kuo & Lee, 2017; Alba-Ferrara, Hausmann, Mitchell & Weis, 2011; Schirmer & Kotz, 2006)），很少建模 技術將個體差異整合至演算法中。 在此研究中，我們提出深度投票融合神經網路(Deep Voting Fusion Network, DVFN) 幫助我們直接整合個體差異，以便自動地進行聲音情緒解碼。其中在此架構中，我們引 入融合層用以學習個體的重要程度，接著我們將觀察到的個體權重重新置入深度投票融 整合個人化磁振造影深度神經網路之演算法技術 37 合神經網路中，並進行微調(finetune)。此實驗中我們招募 18 個受試者，且每個受試者受 到 251 句帶有不同情緒的語句音檔刺激，而這些情緒語句乃參考 the USC IEMOCAP 資 料庫(Busso et al., 2008)所設計。我們提出的架構使得在對人類 4 類情緒認知的實驗上有 53.10%的 UAR(Unweighted average recall)，與前人提出的方法，兩階段式投票技術 (two-stage decision-level fusion technique (Wu et al., 2017))相比，本實驗結果較其進步 8.9%。此外，我們加入音檔的的 fisher vector 與 DVFN 倒數第二層的結果融合，使得準 確率更提升至 56.07%。 此研究對於解構大腦與情緒之間的關係有以下幾點貢獻： 1. 此研究提出一種新的投票融合方法用以整合個體差異。 2. 此投票融合方法對於由 fMRI 資料預測受試者所受的情緒刺激能有不錯的效果。 3. 此研究亦發現加入音檔資訊，使得難過情緒分類結果大幅提升。 接下來的第二部分將針對融合(Fusion)的方法進行文獻回顧；第三部分中我們將介紹 功能性磁振造影的資料收集、情緒語句資料庫的準備方法、聲音特徵擷取，以及 DVFN 架構介紹；第四部分則包含我們整體實驗架構、結果與分析；而第五部份將總結這個實 驗並提出未來的研究方向。 2. 文獻回顧 (Related Work) 在工程領域中有許多方法被用來整合多模態資料(Ayache, Quénot & Gensel, 2007)，例如 early fusion 利用特徵上的融合(fusion-level)，將不同的特徵連接(concatenate)，並輸入至 一個模型中訓練；另一典型的作法為 late fusion，將各模態預測出來的決策分數 (decision score) 結合，再預測一次。此外，kernel fusion 亦為一種常見的做法，利用加權平均 (weighted average)的方式結合來自不同模態的特徵值再做預測。 而在深度學習神經網路架構中，最知名的多模態融合方法(Ngiam et al., 2011) 為利 用跨模態的自編碼神經網路(cross modality deep autoencoder)訓練出富含多模態資訊的中 間層(latent space representeation). 此研究整合傳統機器學習與神經網路的概念，將多個模態以 early fusion 的方式連接 作為融合層，用以學習個體的重要程度，接著我們將觀察到的個體權重重新置入深度投 票融合神經網路中，進行 finetune。 3. 研究方法 (Research Methodology) 3.1 情 緒 性 聲 音 刺 激 設 計 與 fMRI資 料 收 集 (Vocal Emotion Stimuli Design and Collection) 我們參考 the USC IEMOCAP 資料庫(Busso et al., 2008)設計情緒性聲音資料庫做為受試 者進行功能性磁振造影時的刺激材料，此材料也曾用在觀察血氧濃度相依對比訊號與韻 律特徵之間的關聯(Chen, Liao, Jan, Kuo & Lee, 2016)。此次使用的資料庫含 6 種不同的刺 激分別為包含情緒正向、中性、負向以及激動程度高、中、低，而每個種類包含連續 5 38 謝宛庭與李祈均 …

Content truncated to 500 words