應用多模式特徵融合的深度注意力網路進行謠言檢測 (Rumor Detection Using Deep Attention Networks With Multimodal Feature Fusion)

Computational Linguistics and Chinese Language Processing Vol. 25, No. 1, June 2020, pp. 57-80 57  The Association for Computational Linguistics and Chinese Language Processing 應用多模式特徵融合的 深度注意力網路進行謠言檢測1 Rumor Detection Using Deep Attention Networks With Multimodal Feature Fusion 王正豪、黃靖幃 Jenq-Haur Wang and Chin-Wei Huang 摘要 隨著社群平台蓬勃的發展，許多謠言與假訊息也充斥在社群媒體之中。現今各 大社群平台大多是透過人工的舉報或統計的方式來進行謠言的分辨，這在資訊 快速傳播的時代，非常缺乏效率。本論文提出一個結合圖像描述模型的多模式 特徵融合方法，並透過深度注意力網路來進行謠言檢測。從 Tweets 中擷取出 圖像、文字內容、與發文者的社群特徵後，首先，我們將圖像輸入圖像描述模 型，透過 CNN 與 Seq2Seq 模型產生能描述該圖像的語句；其次，這些語句與 文字內容串接，經過 word embedding 編碼後，以 Early 及 Late Fusion 兩種特 徵融合方式，進一步結合社群特徵。最後，我們設計了多層 (Multi-layer)及多 單元 (Multi-cell)雙向遞迴式神經網路 (BRNN)，並結合注意力機制賦予每個 特徵不同的權重，以找出最重要的特徵並進行分類。實驗結果顯示，以 Early Fusion 融合所有特徵，使用基於 GRU 的多單元 (Multi-cell) BRNN 架構能達到 最佳效果，F-measure 達 0.89，驗證了本論文所提出謠言檢測方法的有效性， 未來將以更大量的資料進行實驗。 1 本論文承蒙審查委員提供諸多建議，謹此致謝。  國立台北科技大學資訊工程系 Department of Computer Science and Information Engineering, National Taipei University of Technology E-mail: jhwang@csie.ntut.edu.tw 58 王正豪與黃靖幃 Abstract With the rapid growth of information, browsing social media on the Internet is becoming a part of people’s daily lives. Social platforms give us the latest information in real time, for example, sharing personal life and commenting on social events. However, with the vigorous development of social platforms, lots of rumors and fake messages are appearing on the Internet. Most of the social platforms use manual reporting or statistics to distinguish rumors, which are very inefficient. In this paper, we propose a multimodal feature fusion approach to rumor detection by combining image captioning model with deep attention networks. First, for images extracted from tweets, we apply Image Caption model to generate captions by Convolutional Neural Networks (CNNs) and Sequence-to-Sequence (Seq2Seq) model. Second, words in captions and text contents from tweets are represented as vectors by word embedding models and combined with social features in tweets with early and late fusion strategies. Finally, we design Multi-layer and Multi-cell Bi-directional Recurrent Neural Networks (BRNNs) with attention mechanism to find word dependency and learn the most important features for classification. From the experimental results, the best F-measure of 0.89 can be obtained for our proposed Multi-cell BRNN based on Gated Recurrent Units (GRUs) with attention using early fusion of all features except for user features. This shows the potential of our proposed approach to rumor detection. Further investigation is needed for data in larger scales. 關鍵詞：謠言檢測、遞迴式神經網路、注意力機制、圖像描述、特徵融合 Keywords: Rumor Detection, Bi-directional Recurrent Neural Networks, Gated Recurrent Unit, Self-attention Mechanism, Multimodal Feature Fusion 1. 緒論 (Introduction) 隨著社群網路快速發展，人們可以即時從各大社群平台獲取最新訊息。然而謠言及假訊 息充斥其中，如何分辨訊息的真假，避免人們被誤導，是現今各大社群平台所面臨的重 大問題。較著名的社群網站，如 Facebook、Twitter 等，針對謠言的辨別都有相應的處理 機制。Facebook 利用公正的第三方機構對訊息進行人工驗證，得知訊息的真偽；而 Twitter 則利用自動評估系統與人工標記，標示具爭議或誤導資訊。然而，第三方驗證與人工標 記等方法無法即時進行辨識，並阻止假訊息繼續傳播。因此如何快速又準確的辨識假訊 息或謠言，已成為近年來熱門的研究議題。 在社群網路謠言檢測的相關研究中，大致可分為針對發文內容，以及透過分析社群 網路的傳播結構兩種方法。首先，社群網路發文內容，包含有: 文字、圖像等，可以透 過深度學習方法，例如: 遞迴式神經網路 (Recurrent Neural Networks, RNNs)，或卷積神 應用多模式特徵融合的深度注意力網路進行謠言檢測 59 經網路 (Convolutional Neural Networks, CNNs)，來進行分類以辨識假訊息，但因為發文 內容簡短，如果文件數量不足，其學習效果有限。其次，社群網路使用者之間可能有不 同的關係，如: 好友、追隨、等，透過社群網路分析方法只著重在發掘關係結構，容易 忽略文件內容所表達的資訊，導致謠言的辨識率不佳。有鑒於此，本論文提出一個結合 圖像描述模組的多模式特徵融合方法，並透過深度類神經網路架構搭配注意力機制，以 提升謠言偵測的準確率。首先，我們提出了利用圖像描述模型 (Image Captioning Model)， 以 CNN 擷取圖像特徵，並透過 Sequence To Sequence (Seq2Seq)概念 (Sutskever, Vinyals & Le, 2014)，將圖像轉換為能夠表達圖像內容的文字。其次，我們設計了多層 (Multi-layer) 以及多單元 (Multi-cell) 兩種雙向遞迴式神經網路(Bi-directional RNNs, BRNNs)，結合自 注意力機制 (self-attention)，並利用 Early 及 Late Fusion 兩種特徵融合方法結合文字、 圖像、及社群特徵，以提升分類準確率。雖然過去相關研究已經有論文提出多模式特徵 融合的深度神經網路，結合文字、圖像、及社群等特徵進行謠言檢測，如: Jin 等人的作 法 (Jin, Cao, Guo, Zhang & Luo, 2017)，其中文字內容透過 Long Short-Term Memory (LSTM)及注意力機制 (attention)，擷取特徵並計算出 attention 權重；而圖像內容則是直 接以 CNN 架構取出特徵，並且將 attention 權重與圖像特徵直接進行 elementwise multiplication。然而，這樣的相乘並沒有具體可解釋的實質意義，因為 CNN 所取出的特 徵向量與 LSTM 後 atttention 的特徵向量之間，維度不相同且兩向量各維度並沒有任何關 聯。 而且現有方法的深度神經網路架構僅採用 LSTM 及 attention，隨著更多深層的神經 網路模型不斷進步，仍有進一步改善的空間。因此在本論文所提出的方法中，我們結合 了圖像描述模型，如: Vinyals 等人 (Vinyals, Toshev, Bengio & Erhan, 2015) 和 Xu 等人 (Xu et al., 2015) 所提方法，先將圖像內容轉換成最可能的文字描述，以提升圖像特徵的 語意，然後再與其他文字，進行 word embedding 及特徵融合；同時我們設計了多層 (Multi-layer)及多單元 (Multi-cell)雙向遞迴式神經網路(Bi-directional RNNs, BRNNs)，結 合自注意力機制 (self-attention)，並以 Gated Recurrent Unit (GRU)取代 LSTM，以提升分 類效果。本文主要的貢獻為: (1) 我們是第一個結合圖像描述模型的多模式融合謠言偵測方法，讓圖像內容的融合具有 意義。比起現有作法，能有效提升準確率。 (2) 我們提出創新的多單元雙向遞迴式神經網路 (Multi-cell BRNN): 在 forward 及 backward 雙向的 …

Content truncated to 500 words