A BERT-based Siamese-structured Retrieval Model

摘要 由 於 深 度 學 習 的 發 展 ， 在 以 Transformer 為架構的雙向編碼器 BERT 的帶領下，自然語言處理的相關任務 獲得長足的進步。資訊檢索任務是從 大量的文件中，尋找出與使用者查詢 最相關的結果。雖然基於 BERT 的檢索 模型已在許多研究中展現優異的任務 成效，但這些模型通常有著計算量龐 大或需要大量額外儲存空間的問題。 有鑑於此，本研究提出一套基於 BERT 與孿生架構的檢索模型，不僅擁有以 預訓練語言模型為主體的優點，更具 備了自動查詢擴增技術，與使用強化 學習於模型訓練。因此，我們所提出 的檢索模型不僅改善了現有方法的問 題，也在三個公開的大型資料集中， 驗證了它的檢索成效。 Abstract Due to the development of deep learning, the natural language processing tasks have made great progresses by leveraging the bidirectional encoder representations from Transformers (BERT). The goal of information retrieval is to search the most relevant results for the user's query from a large set of documents. Although BERT- based retrieval models have shown excellent results in many studies, these models usually suffer from the need for large amounts of computations and/or additional storage spaces. In view of the flaws, a BERT-based Siamese-structured retrieval model (BESS) is proposed in this paper. BESS not only inherits the merits of pre-trained language models, but also can generate extra information to compensate the original query automatically. Besides, the reinforcement learning strategy is introduced to make the model more robust. Accordingly, we evaluate BESS on three public-available corpora, and the experimental results demonstrate the efficiency of the proposed retrieval model. 關鍵字：BERT、資訊檢索、孿生架構、查詢擴 增、強化學習 Keywords: BERT, Information Retrieval, Siamese- structured, Query Expansion, Reinforcement Learning 1 緒論 資訊檢索(Information Retrieval)是自然語言處理 中一個重要的研究題目，目標是從大量的文 件、段落或句子中，尋找出與使用者輸入之 查詢(Query)最相關的答案。根據檢索內容的 不 同 ， 資 訊 檢 索 任 務 又 可 分 為 文 件 檢 索 (Document Retrieval) (Yilmaz et al., 2019; Hofstätter et al., 2020; Mitra et al., 2020; Chen et al., 2020; Saar et al., 2020)與段落檢索(Passage Retrieval) (Cohen et al., 2018; Karpukhin et al., 2020; Khattab and Zaharia., 2020; Joel et al., 2020 ;Qu et al., 2021)。在過去的研究中，詞頻 (Term Frequency) (Luhn, 1957)與 反 文 件 頻 (Inverse Document Frequency) (Jones, 1972)是最 常被使用的特徵表示法。詞頻是計算一個詞 在文件中出現的次數，次數越高，通常代表 這個詞在文件中是比較重要的；反文件頻則 是一個詞出現在整個資料集中的文件比例之 倒數，代表著這個詞的獨特性與鑑別性。藉 由計算每一個詞的詞頻與反文件頻，文件與 查詢可被分別表示為一組離散的特徵，藉由 不同的檢索演算法，就可以計算每一篇文件 一個基於 BERT 與孿生架構的檢索模型 A BERT-based Siamese-structured Retrieval Model 姜宏昀 陳冠宇 Hung-Yun Chiang Kuan-Yu Chen 國立臺灣科技大學 國立臺灣科技大學 National Taiwan University of Science and Technology National Taiwan University of Science and Technology harrychiang0@gmail.com kychen@mail.ntust.edu.tw The 33rd Conference on Computational Linguistics and Speech Processing (ROCLING 2021) Taoyuan, Taiwan, October 15-16, 2021. The Association for Computational Linguistics and Chinese Language Processing 163 與查詢的相關性分數，做為文件排序的依據 並輸出。常見的檢索模型包含空間向量模型 (Vector space model) (Salton et al., 1975)與 Okapi Best Match 25 (BM25) (Robertson et al., 1995) 等。雖然這類方法簡單、快速，並且可以獲 得相當的檢索成效，但僅透過關鍵詞匹配來 計算相關性分數，不僅無法考慮查詢與文件 的語意資訊，亦無法解決同義詞與一詞多義 的問題。為此，後續有許多檢索模型紛紛提 出 ， 包 含 潛 藏 語 意 分 析(Latent Semantic Analysis, LSA) (Deerwester et al., 1990)與主題模 型(Topic Model) (Hofmann, 1999; Papadimitriou et al., 2000; Blei et al., 2003)等。 受惠於深度學習的蓬勃發展，自然語言 處理的相關任務也在近期有了突破性的進 展。以 Transformer (Vaswani et al., 2017)為主要 架構的雙向編碼器 BERT (Bidirectional Encoder Representations from Transformers) (Devlin et al., 2019)及各種變形模型，例如 XLNet (Yang et al., 2019)、RoBERTa (Liu et al., 2019) 與 Electra (Clark et al., 2020)等，皆是以非監督式的方式 訓練一個語言模型，在預訓練(Pre-trained)的 語言模型完成後，針對各式下游任務，這類 模型僅需以少量的標記資料進行微調(Fine- tune)，就可以在該任務中獲得相當優良的任 務成效。當使用 BERT 於資訊檢索時，最常見 的作法是將查詢與文件串接後，藉由 BERT 抽 取一個低維度的向量做為特徵，藉由簡單的 前 饋 神經 網路 與軟 性最 大(Softmax)激 活函 數，計算出此一文件與查詢的相關程度。亦 有方法是以孿生(Siamese)架構基礎，利用兩 個 BERT 模型分別為查詢與文件進行特徵向量 的抽取後，再利用餘弦相似度或藉由各種神 經網路模型進行相關性分數的計算。著名的 模型包含有 DPR (Karpukhin et al,. 2020)、 SentenceBERT (Reimers and Gurevych., 2019)、 TwinBERT (Lu et al., 2020)與 ColBERT (Khattab and Zaharia., 2020)等。 相較於傳統的資訊檢索模型，以 BERT 為 基礎的模型可以獲得相當優良的任務成效， 但這些模型通常有著計算量龐大或需要大量 額外儲存空間的問題，雖然已經有些方法針 對這些缺點加以改善，但其成果仍有待提 升。有鑑於此，本研究提出一套基於 BERT 與 孿 生 架 構 的 檢 索 模 型(BERT-based Siamese- structured Retrieval Model, BESS)，不僅繼承著 以預訓練語言模型為主體的優點，更著眼於 改善現有模型時間與空間複雜度過高的問 題。此外，考量使用者查詢通常較短，而容 易產生資訊不足的問題，我們的模型設計了 …

Content truncated to 500 words