NERVE at ROCLING 2022 Shared Task: A Comparison of Three Named Entity Recognition Frameworks Based on Language Model and Lexicon Approach

{c108151121, c107151129, changhth}@nkust.edu.tw 基於語言模型與詞典方法的三種命名實體辨識模型架構之比較 NERVE at ROCLING 2022 Shared Task: A Comparison of Three Named Entity Recognition Frameworks Based on Language Model and Lexicon Approach 林柏劭 Bo-Shau Lin 國立高雄科技大學 資訊工程系 Department of Computer Science and Information Engineering National Kaohsiung University of Science and Technology Kaohsiung, Taiwan, R.O.C 陳建和 Jian-He Chen 國立高雄科技大學 資訊工程系 Department of Computer Science and Information Engineering National Kaohsiung University of Science and Technology Kaohsiung, Taiwan, R.O.C 張道行 Tao-Hsing Chang 國立高雄科技大學 資訊工程系 Department of Computer Science and Information Engineering National Kaohsiung University of Science and Technology Kaohsiung, Taiwan, R.O.C 摘要 此次任務的目的是設計一個方法標記 在句子中的醫療實體詞以及它們的類 別。本研究提出三種模型。第一種是以 BERT 模型結合線性分類器；第二種是 一個兩階段模型，兩階段都是 BERT 模 型結合分類器的次模型，但一階段只判 斷句子中是否有醫療實體詞、二階段才 專注於實體類別分類。第三種是結合前 兩種模型以及一個基於詞典的模型，整 合三個模型的結果後預測。實驗顯示這 些模型在驗證與測試集的表現差異不 大，最佳的模型 Run 1 在 F1 的值為 0.7569。 Abstract ROCLING 2022 shared task is to design a method that can tag medical entities in sentences and then classify them into categories through an algorithm. This paper proposes three models to deal with NER issues. The first is a BERT model combined with a classifier. The second is a two-stage model, where the first stage is to use a BERT model combined with a classifier for detecting whether medical entities exist in a sentence, and the second stage focuses on classifying the entities into categories. The third approach is to combine the first two models and a model based on the lexicon approach, integrating the outputs of the three models and making predictions. The prediction results of the three models for the validation and testing datasets show little difference in the performance of the three models, with the best performance on the F1 indicator being 0.7569 for the first model. 關鍵字: 中文命名實體辨別, BERT, 集 成式學習 Keyword: Chinese NER, BERT, Ensemble Learning 1 緒論 命名實體(Named Entity, NE)是指一種真實存 在的事物，例如人、地點、組織以及產品等等， 通常以專有名稱命名，例如梅克爾、柏林、基 督教民主聯盟等等。由於命名實體通常是文件 中的重要訊息，因此如何辨識命名實體成為自 然語言處理領域重要且持續研究的問題，也稱 為命名實體辨識(Named Entity Recognition, NER)。在中文文本上這個問題又更加困難，因 為中文句子中的詞彙間並無空白加以區隔，因 此對中文句而言，不僅要判斷句子中是否有 NE、也要判斷 NE 在句中的起始位置與結束位 置。此外，NE 的類別辨識也相當重要，因為在 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 343 實際應用中，不同類別的NE有著不同的性質、 功能或用途，若能正確分類對於實際應用上有 很大的幫助。而由於不同專業領域的 NE 特徵 也有不同，因此為了提高 NER 的正確率，會 針對特定領域探討 NER 如何解決。 ROCLING 2022 Shard Task(以下簡稱此次 任務)由 Lee et al.(2022)提出，是一項針對中文 醫療 NER 的任務，其難度除了包含中文可以 同時以單字詞與多字詞表達語意的複雜性，還 包含中文醫療命名實體的詞典資源稀少、而新 產生的 NE 會不斷產生。因此，此次任務目標 為：研究者須找出一個句子中是否有 NE，並 分辨該 NE 屬於 10 種實體類別(如表 1 所列)中 的何者。 此次任務具體要求如下。研究者需要設計 一個模型，針對一個句中每一個字元給予標籤。 該標籤由兩部分資訊組成：該字元是否是 NE 的一部分，以及若是 NE、其所屬類別。第一部 分有三個標記：B 表示該字元為一個 NE 的起 始字元、I 表示該字元為一個 NE 的非起始字 元、O 表示該字元不是任一 NE 的一部份。當 一個字元被標記為 B 或 I 時，在第二部分需標 記其所屬的類別，標籤種類如表 1 中所列。上 方圖 1 為一個句子被標記後標籤樣式的範例。 表 1. 此次任務要辨識的 10 個實體類別 由於「如何治療」不是 NE，所以四個字元 都標記為「O」；「胃」是命名實體「胃食道逆 流症」的第一個字，「食道逆流症」是非起始字， 而胃食道逆流症是一種疾病，因此「胃」標記 為「B-DISE」、其他字標記為「I-DISE」。綜上 所述，此次任務是要將句子中的每個字元標記 21 個標籤之一。 此次任務訓練與驗證資料集是由 Chinese HealthNER(Lee and Lu, 2021)所提供給研究者 作為建立模型之用，資料集中各類別數量與比 例如表 2 所示。本文針對此次任務設計了三種 方法，在以下小節說明本文所提方法。本文第 二節會回顧 NER 任務相關的研究；第三節介 紹本文提出的三種模型；第四節會介紹本文所 使用的實驗資料集以及評估指標。最後我們會 從實驗結果探討本文所提方法的特性與限制， 並提出未來工作的可能方向。 實體類別 訓練集(比例) 驗證集(比例) 人體 23,240(38.01%) 3,171(43.41%) 症狀 11,423(18.67%) 1,481(20.27%) 醫療器材 1,047 (1.71%) 42 (0.58%) 檢驗 2,218 (3.63%) 404 (5.53%) 化學物質 6,090 (9.96%) 744 (10.18%) 疾病 9,074 (14.84%) 1,005(13.76%) 藥品 2,146 (3.51%) 79 (1.08%) 營養品 1,403 (2.29%) 122 (1.67%) 治療 2,905 (4.75%) 203 (2.78%) 時間 1,609 (2.63%) 54 (0.74%) 表 2. 此次任務訓練與驗證資料集各類別 數量及比例 2 相關工作 近年來 NER 研究多聚焦在深度學習神經網路 模型。Luo et al. (2018)指出，在化學領域的 NER 任務上，普遍都是以傳統的機器學習的方法來 解決，但這些傳統方法的效能取決於特徵工程。 該研究提出了基於注意力機制的 BiLSTM- 實體類別 標籤 範例 人體 BODY 脊髓 症狀 SYMP 咳嗽 醫療器材 INST 達文西手臂 檢驗 EXAM …

Content truncated to 500 words