Building an Enhanced Autoregressive Document Retriever Leveraging Supervised Contrastive Learning

利用監督式對比學習來建構增強型的自迴歸文件檢索器 Building an Enhanced Autoregressive Document Retriever Leveraging Supervised Contrastive Learning Yi-Cheng Wang1, Tzu-Ting Yang1, Hsin-Wei Wang1, Yung-Chang Hsu2, Berlin Chen1 1National Taiwan Normal University 2EZ-AI Inc. 1{yichengwang, tzutingyang, hsinweiwang, berlin}@ntnu.edu.tw 2mic@ez-ai.com.tw 摘要 資訊檢索系統的目標是從大量的文件中， 找出與使用者查詢 (Query) 最相關的文 件。在傳統的資訊檢索流程中，需要經過 多次的比對許多文件才能找出最相關的文 件。近期，有一種基於可微搜索索引 (Dif- ferentiable Search Index, DSI) 的新穎資 訊檢索策略被提出，並展現相當優異的效 能。DSI 透過單一個 Transformer 模型先 將文件集中所有的資訊編碼在模型的參 數中；在應用時，使用者可以將查詢輸 入 Transformer，再由 Transformer 以自 迴歸的方式直接地產生其相關文件的編 號 (Document IDs)，因而能大幅地簡化 與加速整個檢索過程。先前的研究指出， DSI 是以文件編號作為橋梁來建立查詢與 文件之間的關係，但在訓練資料中並不是 每篇文件都會有相關的查詢，這將導致這 些文件沒辦法被順利的建立起關係。有鑑 於此，在模型訓練階段，我們提出先使用 監督式對比學習來增強查詢與文件在潛在 語意空間中的對應關係，並在模型推理階 段時，透過最鄰近搜尋法來進一步的輔助 模型產生文件編號。因此，我們提出的方 法能有效增強 DSI 中文件與查詢薄弱的對 應關係，在公開的語料集 Nature Question 上也驗證了它的成效。 Abstract The goal of an information retrieval sys- tem is to retrieve documents that are most relevant to a given user query from a huge collection of documents, which usu- ally requires time-consuming multiple com- parisons between the query and candidate documents so as to find the most relevant ones. Recently, a novel retrieval modeling approach, dubbed Differentiable Search In- dex (DSI), has been proposed. DSI dramat- ically simplifies the whole retrieval process by encoding all information about the doc- ument collection into the parameter space of a single Transformer model, on top of which DSI can in turn generate the rele- vant document identities (IDs) in an au- toregressive manner in response to a user query. Although DSI addresses the short- comings of traditional retrieval systems, previous studies have pointed out that DSI might fail to retrieve relevant documents because DSI uses the document IDs as the pivotal mechanism to establish the rela- tionship between queries and documents, whereas not every document in the docu- ment collection has its corresponding rel- evant and irrelevant queries for the train- ing purpose. In view of this, we put for- ward to leveraging supervised contrastive learning to better render the relationship between queries and documents in the la- tent semantic space. Furthermore, an ap- proximate nearest neighbor search strategy is employed at retrieval time to further as- sist the Transformer model in generating document IDs relevant to a posed query more efficiently. A series of experiments conducted on the Nature Question bench- mark dataset confirm the effectiveness and practical feasibility of our approach in re- lation to some strong baseline systems. 關鍵字：資訊檢索、自迴歸檢索系統、對比 學習 Keywords: Information Retrieval, Au- toregressive Retrieval System, Contrastive Learning 1 緒論 為 了 滿 足 使 用 者 的 資 訊 需 求 (Information Needs)，資訊檢索 (Information Retrieval) 系 統需要依據使用者的查詢，從大量的語料 庫中找出相關的文件。文件檢索的方式分 別是以詞匹配 (Term-matching) 與語意匹配 (Semantic-matching) 作為基礎。TF-IDF 和 BM25 (Robertson et al., 2009) 為詞匹配類中 常見的作法，它們將使用者的查詢 (Query) 與 文件 (Document) 用高維的稀疏向量來表徵， 透過簡單的向量相似度計算，可以快速的匹 配關鍵詞。雖然詞匹配的方法能簡單且快速 的找出相關的文件，但它卻無法考慮到文字與 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 273 文字之間的順序和語意上的關聯。為此，許多 以語意匹配作為基礎的檢索系統被紛紛提出， 包含潛藏語意分析 (Latent Semantic Analy- sis, LSA) (Deerwester et al., 1990) 主題模型 (Topic Model) (Hofmann, 1999; Papadimitriou et al., 2000; Blei et al., 2003) 等。與詞匹配不 同的是語意匹配用了密集向量來表徵，可以 看做是將查詢與文件投影到潛在的語意空間 (Latent Semantic Space)，同義詞與一詞多義 的關聯就能有效的在這個空間中被捕捉到。 隨著深度學習的蓬勃發展，近年來自監督 (Self-supervised Learning) 的預訓練語言模型 (Pre-trained Language Model) 在許多自然語 言處理的任務上都有突破性的表現。其中 (Dense Passage Retriever, DPR) (Karpukhin et al., 2020) 為一個著名的語意匹配檢索系 統，它使用兩個不同的 BERT (Devlin et al., 2019) 預訓練語言模型，來將查詢及文件分別 以密集的向量表徵，並使用簡單的向量相似 度計算，來求得相關的文件。由於 DPR 有 著 BERT 強大的語意表示能力及雙編碼器 (Dual Encoder) 的設計，讓它可以預先計算全 部文件的向量表示，在效果及速度上都能超 越被視為標準的 BM25 檢索系統。最近，另 外一種資訊檢索的方法被提出，如圖1所示， (Differentiable …

Content truncated to 500 words