Combining Word Vector Technique and Clustering Algorithm for Credit Card Merchant Detection

摘要 透過客戶消費資料萃取相關之使用者 行為，是蒐集客戶資訊的方式之一。 現行文字探勘的領域中，大多以文本 分類之相關研究為主，顯少有文本分 群之研究主題。從非結構化之交易消 費說明中，找尋字詞之間的關係，運 用不同詞向量技術，突破分類需事先 區分條件之限制，建立自動化辨識分 析方法，提升分群之準確率。在本研 究中將以銀行信用卡交易消費說明內 容 ， 進 行 Jieba 中 文 斷 詞 並 採 用 Word2Vec 特徵值萃取，搭配基於密度 分群法(DBSCAN)和階層分群法，交叉 組合進行實驗。預測結果以 MUC、B3 和 CEAF 之 F1 平均值 67.58%較為顯著。 Abstract Extracting relevant user behaviors through customer’s transaction description is one of the ways to collect customer information. In the current text mining field, most of the researches are mainly study text classification, and only few study text clusters. Find the relationship between letters and words in the unstructured transaction consumption description. Use Word Embedding and text mining technology to break through the limitation of classification conditions that need to be distinguished in advance, establish automatic identification and analysis methods, and improve the accuracy of grouping. In this study, use Jieba to segment Chinese words, were based on the content of credit card transaction description. Feature extractions of Word2Vec, combined with Density-Based Spatial Clustering of Applications with Noise (DBSCAN) and Hierarchical Agglomerative Clustering, cross- combination experiments. The prediction results of MUC, B3 and CEAF's F1 average of 67.58% are more significant 關鍵字：詞頻-逆向文件頻率、Word2Vec、 BERT、餘弦相似度、分群演算法、密度分群法、 K-平均演算法、階層分群法 Keywords: TF-IDF, Word2Vec, BERT, Cosine Similarity, Clustering Algorithms, DBSCAN, K-means, Hierarchical Clustering。 1 緒論 隨著科技的發展，台灣已漸漸踏入數位經濟 時代，網際網路與電腦的結合，已開始應用 在各項領域中，而其中又以金融業在應用上 佔有先天之優勢，交易的數位化及電子化等 等的商務模式，不僅改變人們的支付行為模 式，也縮短了全球商家與消費者彼此間的距 離。經由客戶支付行為模式的改變，可獲得 更多客戶生活消費資訊，也能提供更優質的 客戶服務以及與商戶合作的機會，例如：精 準推播客戶喜好的商戶行銷活動、發掘新星 商戶等。 本研究旨在運用自然語言處理 (Natural Language Processing, NLP) 、文字探勘及分群 演算法等技術，有效的發展文本分群演算法 增進於金融應用之發展，落實人工智慧技術 於真實場景。本研究期望經由不同的處理技 術和訓練模型之方法，從非結構化之交易消 費說明中，找尋字詞之間的規則，發展出更 為自動與廣泛的分析方法，其透過信用卡交 易時，所顯示的商戶名稱，進而了解字詞間 關係、語義和對命名實體的理解，並透過交 結合詞向量技術與分群演算法於信用卡商戶名稱辨識 Combining Word Vector Technique and Clustering Algorithm for Credit Card Merchant Detection Fang-Ju Lee Soochow University Dept. of Data Science rukolee@yahoo.com.tw Ying-Chun Lo Soochow University Dept. of Data Science ginny880530@gmail.com Jheng-Long Wu Soochow University Dept. of Data Science jlwu@gm.scu.edu.tw The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 32 易的大量消費記錄，以獲得相似之實體商戶 群體歸納，提升辨識效果和建立自動化命名 實體歸納演算法。 我們將以探討詞向量技術應用於信用卡商 戶名稱分群為主題，交易記錄限制於國內交 易，並將交易分成 10 種類別，而其中為防範 個資外洩之風險，排除了六類含有客戶個資 之消費類別，例如，保險、3C 電信通訊、公 共事業代繳等等。以小樣本資料進進行研究， 尋求如何發展詞向量自動分群，並建立不同 之模型並進行反覆驗證和評估，找出最佳模 型以確認結果是否符合預期。 2 文獻回顧 隨著文字探勘的技術不斷在精進，機器跨 越與人之間的語言障礙。近兩年來 BERT、 ERNIE 等非監督式訓練之技術，在語言文字 的判斷、語義的相似度、命名實體識別和情 感的分析等 NLP 任務更有重大的突破。 2.1 命名實體識別 深度學習方法：隨著詞向量技術的發展， Mikolov 等 (2013) 提 出 Continuous Bag-of- Words Model (CBOW) 與 Continuous Skip-gram Model (Skip-gram) 兩個模型結構，用於學習單 詞的分佈式表示式，減少計算複雜度。而神 經網絡的深度學習發展，始其更有效的處理 NLP 任務，如循環神經網絡 (Recurrent Neural Network) 擴展的 RNN-CRF、卷積神經網絡 (Convolutional Neural Network) 的 CNN-CRF。 簡國峻與張嘉惠 (2019) 提出延伸記憶增強條 件隨機場域於中文的命名實體擷取，利用門 控卷積網路及雙向 GRU (Gated Recurrent Unit) 網路來增強記憶條件隨機場域，提升模型抓 取長距離的文章資訊。藉由特徵探勘擷取命 名實體的前後詞彙以及前綴後綴詞彙特徵 (Common Before、Common After、Entity Prefix、 Entity Suffix , BAPS)，使模型可自動訓練的參 數，自動調整詞向量及 BAPS 詞彙特徵，在社 群資料中具穩定性和效能，高度依賴特徵設 計，對於不同資料集是否有同樣效能值得再 研 究 。 而 BERT (Bidirectional Encoder Representations from Transformers) 是近年來較 熱門的深度學習方法，許多研究指出 BERT 應 用於自然語言上都有獲得不錯的成績。Gong 等 (2019) 將 CRF 層加到雙向 GRU 模型的隱藏 層以限制每次的輸出，提高模型的識別性能 (BGRU-CRF model)，並將 Bert Embedding 和 Radical Embedding 串 聯 在 一 起 做 為 輸 入 Embedding放入BGRU-CRF模型中。王子牛、 姜猛、高建瓴與陳婭先(2019) 提出了基於 BERT 的神經網路方法進行命名實體辨識，結 合 BERT 和 BiLSTM-CRF 模型，實驗結果均 表示中文實體識別以無需添加任何特徵的方 式，明顯提升了準確率、召回率和 F1 值。 2.2 字詞相似度 向量空間模型：李琳與李輝 (2018) 研究指出， 已提出的非結構化文本相似度計算方法，主 要包含基於詞袋 (Bag of Words, BOW) 模型、 主題 (Topic) 模型、知識本體和詞向量等方法， 然而這些模型方法仍有一些關鍵問題待解決。 於是他們嘗試結合依存句法分析和詞嵌入方 法，提出一種基於概念向量空間 (Concept Vector Space) 語義相似度的計算方法。曹錫 (2021) 使用 BERT、RoBERTa、ALBERT 三種 預訓練語言模型，進行法律判決書案件情境 相 似 檢 索 實 驗 ， 搭 配 餘 弦 相 似 度 (Cosine Similarity)、歐式距離 (Euclidean Distance) 和向 量內積 (Inner Product) 三種演算法，以案由分 群亂度 (Average Entropy of the Offence-charged Clustering, AEOC) 為指標評估，判斷檢索的優 劣程度，其 AEOC 值愈小愈好，代表各分群 內的類別蒐集愈收斂。 2.3 Bag-of-Word Model TF-IDF (Term Frequency-Inverse Document Frequency) 是一種用於資訊檢索與文字探勘的 傳統機器學習統計方法，用來評估一字詞對 於一個檔案中的重要程度。王美淋(2020)提出 結合擷取和萃取兩段式模型方式處理 NLP 任 務，其實驗結果較 Transformer 良好。劉賢鈞 …

Content truncated to 500 words