A Dimensional Valence-Arousal-Irony Dataset for Chinese Sentence and Context

摘要 託運單中文手寫地址辨識是智慧物流 領域自動化的重要挑戰，而中文手寫 字的偵測與辨識是其中的核心。由於 手寫字的書寫模式較印刷字複雜多變， 辨識上容易誤判，且地址文字在託運 單影像中占比小、文字排列緊密，易 造成偵測上的困難，因此如何精準偵 測託運單上的地址文字是本論文之研 究重點。本論文提出託運單地址自動 偵測及辨識系統，針對地址字元進行 偵測與辨識，透過語言模型降低手寫 字誤判的機率，提高辨識正確率。 Abstract Chinese handwritten address recognition of consignment note is an important challenge of smart logistics automation. Chinese handwritten characters detection and recognition is the key technology for this application. Since the writing mode of handwritten characters is more complex and diverse than printed characters, it is easy misjudgment for recognition. Moreover, the address text occupies a small proportion in the image of the consignment note and arranged closely, which is easy to cause difficulties in detection. Therefore, how to detect the address text on the consignment note accurately is a focus of this paper. The consignment note address automatic detection and recognition system proposed in this paper detects and recognizes address characters, reduces the probability of misjudgment of Chinese handwriting recognition through language model, and improves the accuracy. 關鍵字：手寫辨識、地址辨識、語言 模型 Keywords: handwritten recognition, address recognition, language model 1 緒論 新型態商業模式快速發展，加上疫情影響， 消費者傾向線上購物，使得物流包裹快速增 加，2020 上半年台灣進口包裹數量近五千萬 件，為電商帶來 17.5%的銷售額成長。在流通 的包裹中，手寫地址託運單佔比仍高，以台 灣最大物流處理中心為例，臨櫃交寄託運單 手寫地址佔 76%，物流中心每年需處理 500 萬 件以上的手寫地址託運單。其託運單種類以 紅單(50%)、三聯單(10%)及其他無特定格式 之手寫或印刷(40%)為主，因傳統機器無法針 對手寫地址進行有效的辨識，因此這些未數 位化手寫託運單地址，仍需以大量人工判讀 的方式對託運單地址進行分揀，造成人力負 擔重，且易產生人為誤判。 即便物流業者開始引入自動分揀、分流 系統，但在處理未數位化的手寫地址託運單 時，仍需先以人工目視收件地址，將每個託 運單的區域代碼輸入分揀機後，才能由機器 進行分揀，人力負擔重。為解決物流中心依 賴人工判讀託運單地址的問題，本論文提出 一套運用自然語言處理及光學影像辨識技術 的自動手寫託運單地址偵測及辨識系統，可 快速判定託運單寄送區域，提高自動分揀效 率。 欲建立自動化的託運單地址辨識系統， 關鍵技術在於手寫字的偵測，由於手寫字的 書寫模式較印刷字複雜多變，辨識上容易誤 判，且地址文字在托運單中占比小、文字排 列緊密，造成偵測上的困難，故如何精準偵 測託運單上的地址文字是本論文之研發重點。 本研究擬運用自然語言處理技術、語言 模型及光學影像辨識技術，針對託運單上的 語言模型應用於中文手寫地址辨識 (Language Model Based Chinese Handwriting Address Recognition) Chieh-Jen Wang, Yung-Ping Tien, Yun-Wei Hung Service Systems Technology Center, Industrial Technology Research Institute {chiehjen, JasonTien, joyce_h}@itri.org.tw The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 1 手寫地址進行辨識，建立託運單地址自動偵 測及辨識系統。期待未來可協助物流處理中 心達成託運單自動化判定分揀之目的，快速 擷取託運單內的寄收件者、地址、電話、公 司行號等資訊，加速物流行政處理速度，並 減輕物流中心人工判讀託運單地址的負擔， 提高託運單分揀效率。 未來除了物流相關產業，自動化的手寫 辨識系統還可以擴展到其它不同的領域，例 如：可整合 RPA（Robotic Process Automation） (Hofmann et al., 2020)應用，自動擷取訂單資料， 利用自動化的手寫辨識技術，辨識不同格式 訂單文件，替代人工進行鍵入、複製和貼上 等繁瑣且耗時的操作。 2 文獻回顧 過去已經有一些學者對於地址辨識技術做過 相 關 研 究 ， 主 要 是 著 重 在 地 址 語 意 剖 析 （Semantic Parser）(Z. Li et al., 2020)，以英文 地址為例，通常只要能正確地使用空白斷詞， 後續的拼寫校正及格式轉換通常就不會出問 題，而不像中文地址常會有資訊錯誤或缺失 的情況發生。這些地址剖析相關研究有基於 辭典查找(Küçük Matci & Avdan, 2018)、隱藏 式馬可夫模型(Hidden Markov Model, HMM) (X. Li et al., 2014)和 條 件 隨 機 場(Conditional Random Field, CRF)(Arora, 2016; Sun, 2017)， 但這幾種模式需要做特徵工程，倚賴專業領 域知識去擷取特徵。近期研究(Abid et al., 2018; Sharma et al., 2018)則提出以深度學習為基礎的 地址剖析，擺脫上述模型需要特徵工程的限 制，也可以提升地址剖析的正確性。 有學者會針對地址文字內容的格式進行 正規化(Sun, 2017)，讓所有文字都有統一的表 現格式。以地址文字為例包括：阿拉伯數字、 數字全形半形及中文數字等各種為了內容及 格式統一的正規化。而不同地址型態會套用 不同的正規化處理，例如：街路部分的數字 要正規化成中文數字，巷弄號則是正規化成 半形數字。 語言模型(Chen & Goodman, 1999)經常使 用在許多自然語言處理方面的應用，如語音 識別，機器翻譯，詞性標註，句法分析，手 寫體識別和資訊檢索。人們長期在學習累積 語言後有判斷合不合理與聯想的能力，語言 模型就是利用機率大小來判斷句子合不合理。 換句話說，語言模型描述一個字串 (word sequence, WS) 的機率。N-Gram (Jurafsky et al., 1999)語言模型是基於統計的語言模型算法， 主要是將文本中之文字內容，取最靠近的 n 個 字當作條件機率計算的先驗條件，形成長度 是 n 的字詞片段序列，每個字詞片段及稱為 gram， 常見的 n -Gram 模型有 Unigram(1- gram)，Bigram(2-gram)，Trigram(3-gram)。 但 語料庫無法含蓋人類古往今來說過的話，即 語料庫的資料量通常不夠，因而許多字串出 現的次數為零。神經網絡語言模型 (Neural- network-based language model, NNLM)(Park et al., 2018)。該神經網絡輸入一個字後，能夠輸 出字庫中各個字為字串下一個字的機率。不 同於 n -gram 統計語言模型從語料庫統計以換 算機率，一個神經網絡預測下一個字的機率， 是利用訓練的方式得到，如循環神經網絡 (Recurrent-neural-network-based, RNN) 語言模 型(Xiao & Zhou, 2020)。 3 手寫地址辨識模型 手寫地址辨識模型系統架構如圖 1，可分成 3 個模組，包含：包裹攝影取像、托運單偵測 和手寫辨識。利用高速攝影機，直接由輸送 帶上拍攝包裹上托運單，再經由影像處理技 術(Suri, 2000)，將托運單進行影像特徵擷取 (Kumar & Bhatia, 2014)與旋轉校正(Yu et al., 2006)，最後再進行托運單偵測與手寫字辨識。 手寫地址辨識系統模型會根據使用者回饋建 議修正模型，讓模型辨識正確率隨著時間逐 漸提升。 圖 1. 手寫地址辨識模型架構 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 2 Google(美國) ASTRI(香港) 蒙恬(台灣) 本研究(台灣) 偵測語言 包括英文、中文 等 50 種語言 中文 中文、日文、韓文 中文(地址文字) 字元型態 手寫體、印刷體 手寫體 手寫體 手寫體、印刷體 技術 物件偵測、影像 分類 影像分類 影像分類 影像分割、物件偵 測、影像分類 功能 文字偵測、字元 辨識 僅辨識無偵測 僅辨識無偵測 文字偵測、字元辨 識 適用情境 適用於書籍或文 件影像的解碼 僅適用於字元 位置固定的申 請表格 行動裝置或電腦的手寫輸入 適用於背景多元的 託運單影像中判別 地址資訊 優點 支援多種語言 支援手寫中文 支援手寫中文 支援手寫及印刷體 的中文地址偵測辨 識，正確率高 缺點 對託運單影像中 字元的辨識度不 高，正確率低 無法進行文字 偵測，不適用 託運單影像 無法進行文字偵測，不適用託 運單影像 特針對中文地址字 …

Content truncated to 500 words