NCU1415 at ROCLING 2022 Shared Task: A light-weight transformer-based approach for Biomedical Name Entity Recognition

Abstract NER (Name Entity Recognition)是 傳統 NLP 任務中非常重要也是非常 基礎的一項。在生醫領域，各廠商 發展的各種技術中，NER 任務都有 被廣泛地運用。其中包括句子語義 分析 parsing、問答、對話系統中的 關鍵訊息提取和替換以及知識圖譜 的實際運用等等。在不同的領域， 包括生物醫學、通訊、電商平台等， 都需要 NER 技術來識別其中的藥物、 疾病、商品等物件。本實作主要對 於 ROCLING 2022 SHARED TASK(Lee et al. 2022) 的 生 醫 領 域 NER 任務，基於語言模型做出了一 定程度的調整和實驗。 Name Entity Recognition (NER) is a very important and basic task in traditional NLP tasks. In the biomedical field, NER tasks have been widely used in various products developed by various manufacturers. These include parsing, QA system, key information extraction or replacement in dialogue systems, and the practical application of knowledge parsing. In different fields, including bio-medicine, communication technology, commerce etc., NER technology ise- needed to identify drugs, diseases, commodities and other objects. This implementation focuses on the CLING 2022 SHARED TASK's(Lee et al. 2022) NER TASK in biomedical field, with a bit of tuning and experimentation based on the language models. 關鍵字: 命名實體識別，生物醫學， ROCLING 2022 Shared Task Keywords: Name Entity Recognition, Biomedical Science, ROCLING 2022 Shared Task 1 Introduction & Related work 隨著 NLP 領域技術的發展，不少廠商、研 究機構均著力於發展更高效率和精度的自然語 言處理模型和演算法。在許多不同的領域中， NER (Name Entity Recognition) 都是非常重要 的任務。目前，NER 的任務主要通過一些經 典的語言模型(Language Model)進行。 在自然語言處理任務中，最早從 RNN 開 始，逐漸發展出基於 LSTM(Long Short-Term Memory)、GRU(Gated Recurrent Unit)的時序神 經網路模型。而後在 2017 年，Transformer (Vaswani et al. 2017)的問世再一次改變了自然 語言模型的主流。 1.1 NER implementations based on LSTM or GRU layers 基於 LSTM 和 GRU 的模型在 Transformer (Vaswani et al. 2017)沒有提出時是研究自然語 言處理的主要方法，而在 Transformer 模型在 2017 年被提出後，雖然其數量有大量減少， 但仍然有不少實作的論文利用其時序建模以及 輕量化的特點來完成一些特定的任務。 ULMFiT(Howard et al. 2018)是於 2018 年推 出的基於 LSTM 的系統，其預期設計也是基 於分類任務和預訓練模型。在 ULMFiT 的系 統中，為了讓不同的層學習不同的特徵，提出 NCU1415 at ROCLING 2022 Shared Task: A light-weight transformer-based approach for Biomedical Name Entity Recognition 基於 Transformer 的生醫輕量化命名實體識別系統 馮智詮 Zhi-Quan Feng, 陳柏凱 Po-Kai Chen, and 王家慶 Jia-Ching Wang Dept. of Science and Information Engineering, National Central University No.300, Zhongda Rd., Zhongli Dist., Taoyuan City 32001, Taiwan The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 316 了兩個訓練方法，一是學習率分層區別化的微 調(fine-tuning)方法，也就是越靠後學習率越 大。二是從後向前，每訓練一個 epoch，就解 凍一層的逐層解凍訓練方法。除此之外，論文 中也採用了 warm-up 的機制，讓模型在沒有抓 到特徵時有效獲取特徵。 在具體實作 NER 任務的方面，各廠商和研 究機構也提出了不同的系統來解決此問題，例 如 2016 年 提 出 的 (Ma and Hovy, 2016) 通 過 CNN 進 行 初 步 的 特 徵 提 取 獲 得 Char Representation，並用多層的 LSTM 層來進行後 續 的 分 類 任 務 。 以 及 2016 年 同 年 提 出 的 (Lample et al., 2016)基於多層的 LSTM 以及特 徵的前向傳遞，來達到最終的分類目的。 1.2 Transformer-Based Implementations Transformer 模型最早推出於 2017 年，是一 個有深遠影響力的序列資料處理模型架構，其 在 word embedding 的 部 分 不 僅 僅 是 token embedding，同時也加入了 position embedding、 segment embedding 作為字元的更加精確化的 表達。之後的多層 encoder 和 decoder 中，主 要用 attention 的機制，提取和篩選序列資料中 的特徵。 之後基於 Transformer 模型架構，發展的方 向主要分為兩個，一是改進預訓練方法，二是 改進模型結構。 在預訓練方法的改進上，比較具有代表性 的是 BERT(Devlin et al., 2019)、BART(Lewis et al. 2020)、RoBERTa(Liu et al. 2019)等論文。 BERT 提出於 2019 年，是 Transformer 模型提 出以後的一次非常有代表性的預訓練結果，其 中 採 用 了 Mask Filling ， NSP(Next Sentence Prediction)等任務，作為對於 Transformer 模型 的 一 系 列 標 準 預 訓 練 方 法 ， 該 方 法 將 Transformer 模型的準確率進一步提高。 而 BART 在 BERT 的基礎上，增加了更多的 預訓練操作，如打亂句子中部分字詞的順序、 隨機替換等等。 RoBERTa 模型不僅在預訓練時去掉了 NSP 的流程，還加入了 Dynamic Masking 的動作， 此外其採用了更大的 batch size，讓模型能夠 更好地從每個 batch 中提取特徵。 在模型結構的改進方面，代表模型有增大 層 數 規 模 的 GPT(Radford et al. 2018) 、 GPT2(Vashishth et al. 2019)等。隨著各種不同 模型的陸續提出，人們為了提升模型的準確度， 在不斷地增加模型的大小，資源的消耗也是水 漲船高。 1.3 Our Approach 基於上述論文提啟發，也考慮到本實作的 硬體規格限制，本實作採用 2019 年提出的經 典模型 …

Content truncated to 500 words