MIGBaseline at ROCLING 2022 Shared Task: Report on Named Entity Recognition Using Chinese Healthcare Datasets

摘要 命名實體（Named Entity Recognition , NER）工具 發展已久，但少有針對醫療專業領域的 NER 工具， 因此建立一個適用於醫療文件的 NER 工具是至關 重要的。本研究使用了在中英任務中表現出色的 W2NER 模型 ，藉由更改資料的輸入、選用不同 的預訓練語言模型以及運用不同的訓練策略，建 立一個適合於中文醫療資料集的 NER 模型。我們 的最佳模型在該資料集獲得 81.93%的 F1 分數 ， 並在 ROCLING 2022 NER 競賽(Lee et al., 2022)中 排名第一。 Abstract Named Entity Recognition （NER） tools have been in development for years, yet few have been aimed at medical documents. The increasing needs for analyzing medical data makes it crucial to build a sophisticated NER model for this missing area. In this paper, W2NER, the state-of-the-art NER model, which has excelled in English and Chinese tasks, is run through selected inputs, several pretrained language models, and training strategies. The objective was to build an NER model suitable for healthcare corpora in Chinese. The best model managed to achieve an F1 score at 81.93%, which ranked first in the ROCLING 2022 shared task. 關鍵字: 命名實體辨識、W2NER、醫療、中文 Keywords: NER, W2NER, Healthcare, Chinese 1 簡介 命名實體辨識（Named Entity Recognition, NER） 在自然語言當中一直是非常重要的一個技術， 該技術藉由標記資料來訓練模型，主要處理書 籍、字典、新聞等一些非結構化文本，進行專 有名詞的抽取與標記，主要針對一些重要的實 體，通常包含人名、地名與專有名詞。抽取出 來的詞組可以用來分析情意、關係擷取、事件 追蹤…等功能。這技術還能讓斷詞（Word Segmentation, WS）的結果更加準確，因此大 部分的斷詞工具都會使用這項技術。 現在通用的 NER 技術已經行之有年，技術也 一直在進步，而各個專業領域隨著時間發展所 創造的詞彙也越來越多，加上艱澀不成用的專 業詞彙並不會在通用型 NER 中訓練，導致通 用型 NER 在專業領域的標記結果不佳，也顯 示基於專業領域資料所開發的 NER 模型的重 要性。 至今許多領域的發展越來越離不開資訊 與科技的協助，醫療產業也不例外。病人的醫 療紀錄與問診都會產生出需要整理的資料，因 此能處理醫療文字資料的 NER 已呈迫切的需 求，因此我們希望藉由此研究提高相關主題的 NER 準確度滿足相關需求。 2 文獻探討 2.1 中文 NER 工具發展 NER 技術已經發展多年，實作方式也經過了 多次的迭代，相關技術的演進可以分成三個階 段(Lee & Lu, 2021)，1.傳統方法：rule-base、 大量字典檔 2.機器學習方法：隱馬可夫模型 （Hidden Markov Model, HMM）、最大熵馬可 夫 模 型 （Maximum Entropy Markov Model, MEMM）、條件隨機場（Conditional Random Field, CRF），University of Stanford 開 發 的 stanfordNLP 就是運用 CRF 技術完成的 3.深度 學 習 方 式 ：RNN-CRF、CNN-CRF、 transformer、attention， 例 如 CKIP- transformer(Li et al., 2020) 中文 NER 領域的發展也在近期取得了大 量的進展，從只有三大套件，Jieba(Sun, 2020)、 UnivJersity of Stanford 開 發 的 StanfordNLP(Manning et al., 2014)、中研院開發 中文醫療文件的命名實體辨識報告 MIGBaseline at ROCLING 2022 Shared Task: Report on Named Entity Recognition Using Chinese Healthcare Datasets 馬行遠 Hsing-Yuan Ma 李韋杰 Wei-Jie Li 劉昭麟 Chao-Lin Liu Department of Computer Science National Chengchi University {110753132, 110753128, chaolin} @g.nccu.edu.tw The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 356 的CKIP(Ma & Chen, 2003)慢慢到現在有更先進 與多功能的工具問世，像是最近有名的，中國 中央師範大學學所開發的 NLP 工具 HanLP(He & Choi, 2021)以及 University of Stanford 開發的 Stanza(Qi et al., 2020)。 2.2 NER 模型與技術介紹 W2NER(Li et al., 2022)有別於常見的 NER 模型 將 NER 任務分成四大類的做法，選擇將任務 簡化為字與字之間的三種關係分類: • None：表示兩個字之間沒有關係，且 並不屬於同個實體。 • NNW：即 Next-Neighboring-Word，表 示這兩個字是在同一個實體中相鄰 • THW-*：即 Tail-Head-Word-*，表示這 兩個字是在同一實體中，且分别是開 始與結尾。。 使其能夠統一解決扁平實體（flat）、重疊實 體 （overlapped） 以 及 非 連 續 實 體 （discontinuous）的 NER 任務。 一個簡單的範例可以參考圖 1 的（a），裡面 有兩個症狀實體"aching in legs"和"aching in shoulders"，分别當作 e1 和 e2，該模型會將此 資料轉換成關係陣列（如圖 2），並透過陣列 釐清關係推導出圖 1 的（b） 圖 1.NER 任務示意圖 1 W2NER 架構主要分成三層（如圖 3），（1）. Encoder layer （2）. Convolution layer （3）. Co-predictor layer，在 encoder layer 中，我們將 文章經由 BERT 以及 BiLSTM 轉換，得到詞向 量 ， 接 著 輸 入 convolution layer， 經 由 Conditional Layer Normalization 取得 distance、 1引用來源 Jingye Li, Hao Fei, Jiang Liu, Shengqiong Wu, Meishan Zhanget al.Fei Li. (2022). Unified named entity recognition as word-word relation classification. word、region embeddings， 接 著 將 這 些 embeddings 經由 dilated convolution 處理，輸入 至 Co-predictor layer，由 biaffine predictor 以及 multi-layer perceptron predictor 生成字與字的關 係矩陣。 圖 2 .W2NER 生成矩陣 1 圖 3.W2NER 架構圖 1 Google 於 2018 年發表了一個預訓練的 Transformer 模型 BERT（ Bidirectional Encoder Representations from Transformers）(Devlin et al., 2018)裡面的主要結構為 Transformer(Vaswani et al., 2017)的 encoding 層，訓練方式為使用英文 …

Content truncated to 500 words