Overview of the ROCLING 2022 Shared Task for Chinese Healthcare Named Entity Recognition

摘要 資料類別不平衡存在長尾標籤問題， 單獨的多標籤分類模型一次預測所有 類別，針對個別標籤的最佳化十分困 難，對於出現次數較少的長尾標籤效 能通常不佳。本論文提出一種響應式 知識蒸餾機制，將多個最佳化的二元 模型作為教師網路，單一多標籤模型 做為學生網路，改善多標籤模型在非 平衡標籤的資料集分類效能。實驗資 料來自 2,724 個中文健康照護文本，人 工標記文章內容橫跨 9 個類別， 總共 標籤數量是 8,731，平均每個樣本有 3.2 個標籤。實驗設定採用 5 折交互驗證， 比較 TextRNN、TextCNN、 HAN 和 GRU-att 模型，使用知識蒸餾機制與否 的效能差異，結果顯示透過知識蒸餾 機制能夠顯著提升單一多標籤分類模 型的 micro-F1 約 2 至 3 %、macro-F1 約 4 至 6 %、weighted-F1 約 3 至 4 %，以 及 subset accuracy 約 1 至 2 %。 Abstract It’s difficult to optimize individual label performance of multi-label text classification, especially in those imbalanced data containing long-tailed labels. Therefore, this study proposes a response-based knowledge distillation mechanism comprising a teacher model that optimizes binary classifiers of the corresponding labels and a student model that is a standalone multi-label classifier learning from distilled knowledge passed by the teacher model. A total of 2,724 Chinese healthcare texts were collected and manually annotated across nine defined labels, resulting in 8731 labels, each containing an average of 3.2 labels. We used 5-fold cross-validation to compare the performance of several multi-label models, including TextRNN, TextCNN, HAN, and GRU-att. Experimental results indicate that using the proposed knowledge distillation mechanism effectively improved the performance no matter which model was used, about 2-3% of micro-F1, 4-6% of macro-F1, 3-4% of weighted-F1 and 1-2% of subset accuracy for performance enhancement. 關鍵字：多標籤分類、長尾標籤、二 元相關、知識蒸餾 Keywords: Multi-label classification, long- tailed labels, binary relevance, knowledge distillation 1 介紹 多 標 籤 文 本 分 類 (Multi-Label Text Classification) 廣泛用於許多應用，例如：廣告 系統 (Agrawal et al., 2013)、情緒分析(Myagmar et al., 2019)、推薦系統 (Guo et al., 2016) 、幽默 辨識 (Kao et al., 2021) 以及問答系統 (Chen et al., 2021)等。多標籤文本分類主要有兩種方法類 型 (Tsoumakas and Katakis, 2007)，分別是 (1) 問題轉換：透過訓練多個二元分類模型來達 成多重標籤分類，以及 (2) 訓練單一模型進行 多重標籤分類。問題轉換類型可以透過調整 類別權重(class weights) 的方式，針對單一類 運用響應式知識蒸餾機制增進中文多標籤文本分類效能 Enhancing Chinese Multi-Label Text Classification Performance with Response-based Knowledge Distillation 黃思齊 Szu-Chi Huang, 曹程富 Cheng-Fu Cao, 廖柏勛 Po-Hsun Liao 李龍豪 Lung-Hao Lee, 李柏磊 Po-Lei Lee, 徐國鎧 Kuo-Kai Shyu 國立中央大學 電機工程學系 Department of Electrical Engineering, National Central University {110521103, 110521109, 110521086}@cc.ncu.edu.tw {lhlee, pllee, kkshyu}@ee.ncu.edu.tw The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 25 別進行最佳化，提供更高的彈性 (Banerjee et al., 2019) ，而當資料標籤不平衡時，訓練單一 模型則難以最佳化各類別的預測效能。但訓 練單一模型能夠依據標籤間的關聯性，或是 潛在架構對模型進行優化，而問題轉換法則 無法有效利用標籤間的相關性。 知識蒸餾 (knowledge distillation) 是一種將巨 型的教師網路 (teacher net) 學習到的「知識」， 轉移到較精簡的學生網路 (student net) 的深度 學習技術 (Hinton et al., 2015)。我們假設最佳 化多個二元分類器網路，在各類別上擁有比 單一多標籤模型更佳的效能，將最佳化的多 個二元分類器模型作為教師網路，單一多標 籤模型作為學生網路進行訓練，目標是讓單 一多標籤模型可以透過教師網路，在非平衡 標籤資料上學習知識，用以改善單一多標籤 模型在非平衡標籤上效能低落的缺點。 本篇論文提出利用知識蒸餾機制增進多標 籤文本分類效能的方法，在中文健康照護文 本 上 ， 驗 證 數 個 不 同 深 度 學 習 模 型 包 含 TextRNN (Liu et al., 2016)、TextCNN (Liu et al., 2017) 、 HAN (Yang et al., 2016) 、 GRU-Att (Banerjee et al., 2019) 的效能差異，實驗結果顯 示使用知識蒸餾機制與原先的單一多標籤分 類模型相比，提升 2~3%的 micro-F1、4~6%的 macro-F1、3~4%的 weighted-F1 以及 1~2%的 subset accuracy。 2 相關研究 2.1 知識蒸餾 大規模的機器學習通常使用非常複雜的模 型訓練，大量地計算導致模型參數量過大， 同時也耗費計算資源。因此，Hinton (2015) 提 出一種稱為「知識蒸餾」的模型壓縮方式， 將繁瑣大型模型訓練完成後的知識，以「蒸 餾」(distillation) 的方式，轉移到更適合使用 的小型模型。知識蒸餾的種類可分為以下三 種類型 (Gou et al., 2021) ： (1) Response-based 蒸餾的知識主要來源是教師模型的最終輸 出層，通過使用損失函數 (loss function) 取得 學生和教師模型的之間的差異，並在訓練過 程中將損失最小化，最終讓學生模型能夠做 出跟教師模型一樣的預測。 (2) Feature-based 主要是從教師模型神經網路的中間層中取 得特徵，通過最小化教師和學生模型的特徵 損失函數，訓練學生模型學習與教師模型相 同的特徵。 (3) Relation-based 與 Feature-based 相似同樣都是從教師模型中 取得特徵，差別在於先將特徵建立為圖形、 矩陣、或是概率分佈圖，再與學生模型比較 關係的差異，藉此訓練學生模型。 2.2 多標籤文本分類 多標籤文本分類與多元文本分類 (multi-class text classification) 都是具有兩個以上類別的分 類任務。不同之處在於，多元分類每個標籤 都是相互排斥的，分類標的樣本是從多個類 別選擇一個。多標籤分類則可以為每個樣本 分配多個不同標籤，而這些標籤並不相互排 斥，這種分類方式也比較接近人類的思考， 可以從多個角度來描述一件事物。 TextRNN 模型 (Liu et al., 2016) 採用長短期 記憶神經網路 (Long Short-Term Memory, LSTM) 進行訓練。模型包含三個控制閘：輸入、輸 出、遺忘，分別對應寫入、讀取以及遺忘的 功能。透過這三個控制閘，模型能夠額外考 慮前文的關係，使得當前的輸出不只受上一 層輸入的影響，也受到同一層前一個輸出 （即前文）的影響。 HAN 模型 (Yang et al., 2016) 使用 GRU 神經 …

Content truncated to 500 words