SCU-MESCLab at ROCLING-2022 Shared Task: Named Entity Recognition Using BERT Classifier

摘要 本研究構建了命名實體識別模型，並 將其應用於醫療領域。資料是以BIO格 式進行標記。例如"肌肉"會被標記成 "B-BODY"和"I-BODY"，"咳 嗽" 則 是 "B-SYMP"和"I-SYMP"。不屬於命名實 體類別以外的字全標為"O"。訓練資料 Chinese HealthNER Corpus 包含 30,692 句，其中的 2531 句切分為此次評測的 驗證集(dev)，而最終大會提供另外的 3204 句的測試集(test)。我們分別使用 BLSTM_CRF、Roberta+BLSTM_CRF 與 BERT Classifier 三種方式提交三個預 測結果。最後，提交為 RUN3 的 BERT Classifier 系統取得了最好的預測效能， 其精準度為 80.18%、召回率為 78.3%， F1-score 為 79.23。 Abstract In this study, named entity recognition is constructed and applied in the medical domain. Data is labeled in BIO format. For example, "muscle" would be labeled "B- BODY" and "I-BODY", and "cough" would be "B-SYMP" and "I-SYMP". All words outside the category are marked with "O". The Chinese HealthNER Corpus contains 30,692 sentences, of which 2531 sentences are divided into the validation set (dev) for this evaluation, and the conference finally provides another 3204 sentences for the test set (test). We use BLSTM_CRF, Roberta+BLSTM_CRF and BERT Classifier to submit three prediction results respectively. Finally, the BERT Classifier system submitted as RUN3 achieved the best prediction performance, with an accuracy of 80.18%, a recall rate of 78.3%, and an F1-score of 79.23. 關鍵字：命名實體識別、BERT 分類器、醫療 Keywords: Named Entity Recognition, BERT, Medical Domain 1 Introduction 醫療信息是指醫生或相關醫療學者傳達的語 言訊息，這些醫療信息中包含具有人體及生 物特定意義的實體，而醫生和患者溝通中的 信息對於治療與健康影響扮演重要角色(Street and Richard, 2013)。在疫情的影響之下，醫生 和患者的接觸大幅度的減少，醫療人員和患 者之間的交流越來越多是通過遠端設備進行 交流，由此可知電子訊息及健康系統普及化 對醫療信息的擷取至關重要 (Weiner, 2012)。 龐大醫療數據是可以運用深度學習協助醫生 或研究人員進行相關研究，如醫學圖像分類 (Azizi et al., 2021)，以及醫療保健對話(Konam and Rao, 2021)，有益於醫療進步。 本研究使用 2022 Rocling 會議之參賽資料進 行醫療命名實體識別。此參賽資料是包含醫 療相關信息之文字語料集，本研究提出一命 名實體識別系統分辨醫療相關專有名稱。這 些識別出之醫療相關專有名稱可以方便研究 人員對醫療信息正確分析，以及有效協助病 患提供醫療信息，或是避免醫療人員情急之 下用藥錯誤等情況 (Patanwala et al., 2012)，如 此對於醫學問題及協助上，有提供更好的幫 助。 命名實體識別模型從傳統機器學習、隱藏 式馬可夫模型 (hidden Markov model, HMM)， 到深度學習的 BiLSTM、BERT 或 RoBERTa 方 法搭配條件隨機場 (conditional random field, CRF) (Huang et al., 2015)，可以更有效提升我 們效率以及精確度。因此在任務選擇上，分 別採用三個方法來實施，第一個方法是單純 SCU-MESCLab at ROCLING-2022 Shared Task: Named Entity Recognition Using BERT Classifier Tsung-Hsien Yang Chunghwa Telecom laboratories, Taoyuan, Taiwan yasamyang@cht.com.tw Ruei-Cyuan Su, Tzu-En Su, Sing-Seong Chong and Ming-Hsiang Su Department of Data Science, Soochow University, Taipei, Taiwan {70613rex, 70614roy, chongzhishan123, huntfox.su}@ gmail.com The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 329 運用 BiLSTM+CRF，第二個的方法是運用 RoBERTa+BiLSTM+CRF，第三種方法是運用 BERT token classifier，分別訓練出各個模型。 最後我們將各個預測資料採用標準精度、召 回率和 F1 分數進行評估。 2 Dataset 本次研究當中，我們所使用的資料集名稱叫 作 Chinese Healthcare Named Entity Recognition (HealthNER)，是由 NCUEE NLP研究室人員收 集與標記 (Lee et al., 2021)。資料是透過爬蟲的 技術爬取相關新聞，醫療問答論壇和醫療保 健信息。此資料集共有 30,692 句子總計約 150 萬個字。經過人工標注後，共有 68,460 個命 名實體，涵蓋 10 種實體類型，根據其名稱分 別為人體 (BODY)，症狀 (SYMP)，醫療器材 (INST)，檢驗 (EXAM)，化學物質 (CHEM)， 疾病 (DISE)，藥品 (DRUG)，營養品 (SUPP)， 治療 (TREAT)，時間 (TIME)。資料是以 BIO 格 式 去 標 記 。 例 如"肌 肉"會 被 標 記 成"B- BODY"和"I-BODY"，"咳嗽"則是"B-SYMP"和 "I-SYMP"，以此類推。類別以外的字全標為 "O"。而其中區分為訓練資料(train.json)擁有 28,161 句子和測試資料(test.json)有 2531 個句 子和 7305 命名實體。由於大會最終是會提供 另外的 3204 句當作最終的測試集(test)，故我 們可以將 HealthNER 中的測試資料(test.json)當 作我們模型的驗證資料集(dev)使用。 3 Proposed Method 3.1 Embedding method Pytorch 的 embedding 轉換詞向量機制，為一 個簡單的尋找表，其模型通常用於存儲詞向 量並使用索引檢索它們。模型的輸入是索引 列表，輸出是相應的詞嵌入。其模型的可學 習權重，使用是初始化均值 (mean)為 0、方差 (variance) 為 1 的常態分佈 (normal distribution)。 其輸入值是索引值的張量形式，輸出則是和 輸入的張量相同形式維度形式。 得到詞向量後，使用自行定義好的特殊符 號作為 mask 組成單元，有 [UNK] 表示 [未知 詞]、[PAD] 表示 [填充]、[START] 表示 [文本 開頭]、[END] 表示 [文本结束]，共 4 種特殊符 號，將每一句子依照上方表示，轉換成每句 完整的 mask，以提供標註作為所使用之 label， 以此作為下一步驟要使用的輸入值。 3.2 BERT and RoBERTa BERT (Bidirectional Encoder Representations from Transformer) 模型，是 Google 以無監督的 方式利用大量無標記文本的模型。訓練資料 來源于 Wikipedia 2.5B 語料集加上 BookCorpus 800M 語料集。批量大小為 1024 * 128 長度或 256 * 512 長度。BERT 分為 BERT-Base (12- layer, 768-Hidden, 12-head) 和 BERT-Large (24- layer, 1024hidden, 16-head) 兩種形式。BERT 無 需標記好的資料或解釋即可進行分析。BERT 是 Transformer 的前半部分核心模組(encoder)， 而注意力 (attention) 機制是 Transformer 的前段 核心部分，主要是增強語義向量，在不同的 字結合中，代表識別字所帶來的意思。因此 在 BERT 中，注意力機制為 BERT 的主要構成 之一。 RoBERTa是 BERT模型問世之後的優化模型 之一，主要其優化為效能上的優化，用途為 分類以及閱讀理解，而進而分別為中文上的 預訓練模型以及英文上的模型，其中英文的 RoBERTa 主要訓練的數據集為維基百科及書 籍語料庫，中文的 RoBERTa 主要是使用哈工 大訊飛聯合實驗室發布的 RoBERTa-wwm-ext- large …

Content truncated to 500 words