SCU-NLP at ROCLING 2022 Shared Task: Experiment and Error Analysis of Biomedical Entity Detection Model

摘要 生物醫學之命名實體辨識相較於一般 命名實體辨識任務來得更加複雜。本 次命名實體辨識任務以辨識醫療保健 領域的十種命名實體類型為目的，預 測句子的命名實體邊界和類別。我們 探討了命名實體辨識的多種基礎方法， 如隨機森林、隱馬爾可夫模型、條件 隨機場和 BERT。提供未來在醫療領域 的 NER 辨識中，能選擇最佳表現的基 礎方法為基準進行改良。預測結果以 BERT 模型在 F-score 上較為顯著，取 得了更好的結果。 Abstract Named entity recognition generally refers to entities with specific meanings in unstructured text, including names of people, places, organizations, dates, times, quantities, proper nouns and other words. In the medical field, it may be drug names, Organ names, test items, nutritional supplements, etc. The purpose of named entity recognition in this study is to search for the above items from unstructured input text. In this study, taking healthcare as the research purpose, and predicting named entity boundaries and categories of sentences based on ten entity types, We explore multiple fundamental NER approaches to solve this task, Include: Hidden Markov Models 、 Conditional Random Fields、Random Forest Classifier and BERT. The prediction results are more significant in the F-score of the CRF model, and have achieved better results. 關鍵字：實體命名、隱馬爾可夫模型、條件隨 機場、隨機森林 Keywords: Named entity recognition 、BERT、 Random Forest Classifier 、 Hidden Markov 、 Conditional Random Field 1 緒論 命名實體辨識（Named entity recognition， NER）任務是自然語言處理的基本任務，同 時也作為許多應用的基礎。例如：翻譯、文 本摘要。因此進行 NER 任務能否使模型達到 更好的辨識效果是許多研究所追求的。除此 之外 NER 任務也根據領域的應用有所差異， 且若採用監督學習也需另行標記實體的資料 集。舉例而言 NER 常見的分類多為地點、時 間、人名、組織等，然而應用上也能將此任 務進行特定語句結構的實體辨識，例如激進 言語、反諷等。本次的分享任務即是進行醫 療領域的 NER 辨識。此類型的任務相當重要， NER 的效果將會影響後續任務的可靠性，因 此探討如何提升醫療 NER 的辨識效果是本文 的主軸。 本次的分享任務將進行醫療領域的中文 NER 辨識。中文 NER 相較於英文處理上較困 難。如何正確的分辨實體的邊界也是難題之 一。以此為基礎便延伸出基於字符的方法和 基於單詞方法，本研究也將探討使用兩種詞 生物醫學實體檢測模型之實驗與錯誤分析 SCU-NLP at ROCLING 2022 Shared Task: Experiment and Error Analysis of Biomedical Entity Detection Model Sung-Ting Chiou Soochow University Dept. of Data Science yuki1214888@gmail.com Sheng-Wei Huang Soochow University Dept. of Data Science kiwihwung11@gmail.com Ying-Chun Lo Soochow University Dept. of Data Science ginny880530@gmail.com Yu-Hsuan Wu Soochow University Dept. of Data Science Ikaroskasane28@gmail.com Jheng-Long Wu Soochow University Dept. of Data Science jlwu@gm.scu.edu.tw The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 350 嵌入訓練的模型效果。現代在網路的資訊流 通快速，用戶能夠通過網路搜尋醫療相關資 訊，在進行就醫。因此網路上能產生很多醫 療相關的文本，這也提供了建立醫療領域 NER 辨識的資料豐富度。自動識別醫療保健、 生醫領域的實體能夠協助歸納或萃取醫療文 本中的資訊。本次任務共需辨識 10 種實體類 型，需預測每個給定句子的命名實體邊界和 類 別 。 使 用 的 訓 練 與 料 庫 為 Chinese HealthNER 語料庫(Lee and Lu, 2021)。包括 30,692 個句子，總計約 150 萬個字符或 91700 個單詞。經過人工註釋，有 68,460 個命名實 體， 10 種實體類型分別是：身體、症狀、儀 器、檢查、化學、疾病、藥物、補充劑、治 療和時間。訓練資料集中包含了語句、字符、 分詞的文本資料以及對應的 NER 分類(Lee et al., 2022)。 過往研究在 NER 的辨識任務上採取的策 略都不同，然而在模型建構上的巧思可歸納 為改良或組合多種模型，或是增加詞嵌入的 資訊(如筆畫、部首等資訊)。本文旨在探討、 比較基礎模型的效果以提供後續研究在改良 模型時對基礎模型的選擇。本文針對機器學 習方法、深度學習方法也進行了效果的比較。 機器學習方法使用隨機森林，深度學習方法 使用 Bidirectional Encoder representations from transformers (BERT)、隱馬爾可夫模型(Hidden Markov Model ， HMM) 、 條 件 隨 機 場 (conditional random field，CRF)等三種近年 NER 辨識任務中仍常用來改良或組合的基礎 模型進行比較。 2 文獻回顧 Li 等人(Li, 2020) 對以往 NER 任務的解決方法 進行深入探討，介紹了傳統 NER 方法建構， 以及詳細介紹了近年使用深度學習取得的成 果。傳統基於規則的 NER 辨識方法依賴於字 典的建構，也由於此特性特定領域的規則和 不完整的字典，從此類系統中經常觀察到高 精度和低召回率，並且無法將系統轉移到其 他領域。非監督學習方法也有研究證明了其 效果的有效性和普遍性。監督方法進行 NER 依賴特徵工程，機器學習方法。常見的方法 如 HMM、決策樹等等。其中 CRF 的 NER 已 廣泛應用於各個領域的文本。包括生物醫學 文本 、推文和化學文本 。基於這些傳統方法， 對於 NER 的研究越來越多元，也釋出許多分 享任務。Lee 等人 (2020) 針對臨床命名實體識 別在未標記的臨床記錄上預訓練 BERT 模型。 並使用長短期記憶（LSTM）和條件隨機場 （CRF）提取文本特徵和解碼預測標籤，並提 出一種將字典特徵整合到模型中的新策略。 Segura Bedmar 等人 (2013) 提出了兩個子任務： 1.藥物名稱的識別和分類 2.相互作用的提取和 分類，作為 SemEval 2013 任務 9 的一部分， 其研究結果顯示，在命名實體任務中，參與 系 統 在 識 別 已 知 實 體 方 面 表 現 良 好 。 Alsehaimi 等 人 (2022) 使 用 自 然 語 言 處 理 (natural language processing，NLP) 的 NER 技 術在關於酒店的大量文本評論數據中找到主 要實體的自動識別器。並在五種不同的分類 模型如：Spacy, Naïve Bayes (NB), Stochastic Gradient Descent (SGD), Passive Aggressive,和 AdaBoost 之間進行比較，在 1000 多條記錄的 真實數據集上進行實驗，結果顯示 NB 的準確 率最高。 Kocaman 等人 (2021) 在 Apache Spark 之上 重新實現 Bi-LSTM-CNN-Char 深度學習架構。 Luo 等人 (2020) 通過標籤嵌入註意機制增強從 獨立 BiLSTM 學習的句子表示。Mayhew 等人 …

Content truncated to 500 words