A Novel Named Entity Recognition Model Applied to Specialized Sequence Labeling

摘要 近來，序列分割和標記的需求已經劃 分了不同的專業領域。在傳統解決方 案中，最常用的模型是結合了深度學 習和監督學習的群體長短期記憶條件 隨機場（Bi-LSTM-CRF），由於無監督 學習的重要性已與監督學習並駕齊驅， 本研究提出了長短期記憶-無監督監督 學習-一般條件隨機場（Bi-LSTM-USL- GRF）模型，將通用隨機條件場（GRF） 與無監督監督學習（USL）和 Bi-LSTM 相結合，實現了我們監督學習、無監 督學習和深度學習的概念性結合。在 本研究中，提供了一種創新的 GRF 架 構來取代傳統的 CRF 架構，以及將無 監督學習與有監督學習相結合的 USL 原理。我們證明，該模型不僅展示了 利用 USL 原理的專業能力，還具有 GRF 的特殊優勢，其性能優於之前的 Bi-LSTM-CRF架構提高了 1.45%。所提 出的 USL 和 GRF 的組合具有更大的靈 活性，未來甚至可以在不同的領域得 到應用和推廣。 Abstract The demand for sequence segmentation and tagging has recently extended to different professional fields. The most commonly used model in conventional solutions is Bidirectional Long Short-Term Memory-Conditional Random Fields (Bi- LSTM-CRF), which combines deep learning and supervised learning. As the importance of unsupervised learning has become equal to that of supervised learning, this study proposes a Bidirectional Long Short-term Memory-Unsupervised Supervised Learning-General Conditional Random Field (Bi-LSTM-USL-GRF) model that combines General Conditional Random Field (GRF) with Unsupervised Supervised Learning (USL) and Bi-LSTM, achieving a conceptual combination of supervised learning, unsupervised learning, and deep learning. In this study, we provide an innovative GRF architecture to replace the traditional CRF architecture, as well as the USL principle, which combines unsupervised learning with supervised learning. We demonstrate that this model not only demonstrates specialized ability in the use of the USL principle but also has the special advantages of GRF, outperforming the previous Bi-LSTM-CRF architecture with a performance improvement of 1.45%. The proposed USL and GRF has more flexibility in its combination and could even be used and promoted in different fields. 關鍵字：深度學習、通用條件隨機場、無監督 監督學習，長短期記憶 Keywords: Deep Learning, General Conditional Random Field, Unsupervised Supervised Learning, Bidirectional Long Short-Term Memory 1 Introduction 近來，對序列進行分割和標記的需求，不 僅出現在 NLP 中部分語意標記(Part-of-speech tagging, POS tagging) (Biemann, 2009) 與命名實 體識別(Named Entity recognition, NER) (Li et al., 2020)的兩個經典任務上，也從傳統的情感分 析 (Mykhalchuk et al., 2021)，延伸至食品安全 領域 (Yuan et al., 2023)、農業文本 (Qian et al., 2023)、機械專利提取技術 (Cui et al., 2023)、 以及地震應急中文信息智能識別 (Wang et al., 2023)。使用的方法，也從過往的隱馬爾可夫 模型(Hidden Markov model, HMM)與最大的馬 爾可夫模型（Maximum-entropy Markov model, A Novel Named Entity Recognition Model Applied to Specialized Sequence Labeling (創新命名實體識別模型應用於專業化序列標記) Ruei-Cyuan Su, Tzu-En Su, Ming- Hsiang Su Department of Data Science, Soochow University, Taipei, Taiwan {70613rex, 70614roy, huntfox.su}@gmail.com Matus Pleva, and Daniel Hladek Technical University of Kosice, Slovakia {Matus.Pleva, daniel.hladek}@tuke.sk The 35th Conference on Computational Linguistics and Speech Processing (ROCLING 2023) Taipei City, Taiwan, October 20-21, 2023. The Association for Computational Linguistics and Chinese Language Processing MEMMs）(McCallum et al., 2000)在標記上的 應用，像是 HMM 於基因標記 (Lukashin and Borodovsky, 1998)與 MEMMs 於情感內容檢測 (Kang, 2003)，轉變為經常使用的方法，為條 件 隨 機 場(Conditional random field, CRF) (Lafferty et al., 2001)，其應用像是在分詞器 (Tseng, 2005)，以及自動韻律預測和檢測的使 用 (Qian et al., 2010)。甚至於近期，對於序列 進行分割和標記，大部分所使用的是深度學 習(Deep learning, DL)與 機 器 學 習(Machine learning, ML)的結合，並且以此結合的方向擴 展使用，也就是將深度學習結合 CRF 做出改 良，從連結 CNN(Convolutional neural network, CNN) (Kamnitsas et al., 2017)與 RNN(Recurrent neural network, RNN) (Wang et al., 2019)，到於 現在最常使用的 Bidirectional long-short term memory CRF(Bi-LSTM-CRF) (Thattinaphanich and Prom-on, 2019)，使得 Bi-LSTM-CRF 不僅 獲得了機器學習中的監督學習能夠輕易評斷 之優點，也獲得深度學習容能夠忍受雜訊高 的數據的能力。並且以 Bi-LSTM-CRF 作為基 礎，來搭配於深度學習中合適的詞嵌入模型， 可以生成最好的標籤序列，像是使用 BERT 來 結合對命名實體識別進行標記 (Liu et al., 2023)。 因此在本文的研究中，提出了兩種方法， 第一種為不同於傳統的結合方法，也就是它 能在兩個監督學習結合中間新增一個隱藏層， 實現其在監督學習的概念中有著非監督學習 的概念，為非監督化的監督學習(USL)原理， 第二種方法，不是傳統 CRF 的前方只能連接 一個，而是前面能夠連接兩個的廣條件隨機 場(GRF)，也就是其不僅能與 Bi-LSTM 連接， 而且也能與從第一種方法中 USL 原理得到的 非監督學習連接，且最後得到 Bi-LSTM-USL- GRF 網路。 2 General Conditional Random Field 接著，介紹廣條件隨機場原理。設𝑋𝑋與𝑌𝑌 與𝑍𝑍是隨機變數，三者構成一個無向圖𝐺𝐺 = (𝑉𝑉, 𝐸𝐸)表示的馬爾可夫隨機場。接著，以隨機 變數𝑍𝑍作為隨機變數𝑋𝑋與隨機變數𝑌𝑌的中心，並 且在滿足局部馬爾可夫隨機場下，可得到隨 機變數𝑋𝑋下隨機變數𝑍𝑍的條件概率𝑃𝑃(𝑍𝑍|𝑋𝑋)，且 以相同的方式也可得到隨機變數𝑌𝑌下隨機變數 𝑍𝑍的條件概率𝑃𝑃(𝑍𝑍|𝑌𝑌)，接著並且依據局部馬爾 可夫性，其與隨機變數𝑋𝑋與隨機變數𝑌𝑌的聯合 概率分布𝑃𝑃(𝑌𝑌, 𝑋𝑋)可以由隨機變數𝑌𝑌下隨機變數 𝑍𝑍的條件概率𝑃𝑃(𝑍𝑍|𝑌𝑌)與隨機變數𝑋𝑋下隨機變數 𝑍𝑍的條件概率𝑃𝑃(𝑍𝑍|𝑋𝑋)相乘得到，為 𝑃𝑃(𝑋𝑋, 𝑌𝑌) = 𝑃𝑃(𝑋𝑋)𝑃𝑃(𝑌𝑌) (1) 有了隨機變數𝑋𝑋與隨機變數𝑌𝑌的聯合概率分布 𝑃𝑃(𝑌𝑌, 𝑋𝑋) 下 的 隨 機 變 數 𝑍𝑍 的 條 件 概 率 分 布 …

Content truncated to 500 words