長短期記憶模型之忘記閘提取語意流暢度之架構以自閉症小孩說故事為例 (A Lexical Coherence Representation Computational Framework using LSTM Forget Gate For Autism Recognition)

Computational Linguistics and Chinese Language Processing Vol. 23, No. 1, June 2018, pp. 19-34 19  The Association for Computational Linguistics and Chinese Language Processing 長短期記憶模型之忘記閘提取語意流暢度 之架構以自閉症小孩說故事為例 A Lexical Coherence Representation Computational Framework using LSTM Forget Gate For Autism Recognition 劉于碩、陳金博、高淑芬、李祈均 Yu-Shuo Liu, Chin-Po Chen, Susan Shur-Fen Gau and Chi-Chun Lee 摘要 泛自閉症研究指出，由於口語表達能力的遲緩，跟典型孩童相比，自閉症孩童 較無法敘說一個流暢的故事，因此在診斷自閉症孩童時，衡量其口語表達流暢 度以成為一個診斷的重要指標。然而流暢度的評量，不是需要費時的人工標註， 就是得用專家專門設計出的特徵來當指標，因此，本篇研究提出一種自動化直 接資料導向的流暢度特徵學習架構，利用長短期記憶模型的遺忘閘導出語意流 暢度的特徵，同時我們也利用自閉症觀察診斷量表中的評分細項來測試我們的 流暢度特徵，結果上，利用我們提出的語意流暢度特徵來辨識自閉症小孩與典 型小孩的任務上能夠達到 92%的高準確率，對照傳統上使用語法、語詞使用頻 率、潛在語義模型分析等地模型有顯著的提升。  國立清華大學電機工程學系 Department of Electrical Engineering, National Tsing Hua University E-mail: drugstore950337@gmail.com; cclee@ee.nthu.edu.tw  國立台灣大學醫學院心理系 Department of Psychiatry, National Taiwan University Hospital and College of Medicine E-mail: gaushufe@ntu.edu.tw 20 劉于碩 等 這篇論文也進一步隨機打亂字序及句子順序，使典型小孩說故事內容變得不流 暢的方式，來驗證我們提出的流暢度的意義，降維並將資料樣本可視化分析後 證明我們的提取的特徵含有流暢度的概念。 Abstract Autistic children are less able to tell a fluent story than typical children, so measuring verbal fluency becomes an important indicator when diagnosing autistic children. Fluency assessment, however, needs time-consuming manual tagging, or using expert specially designed characteristics as indicators, therefore, this study proposes a coherence representation learned by directly data-driven architecture, using the forget gate of long short-term memory model to export lexical coherence representation, at the same time, we also use the ADOS coding related to the evaluation of narration to test our proposed representation. Our proposed lexical coherence representation performs high accuracy of 92% on the task of identifying children with autism from typically development. Comparing with the traditional measurement of grammar, word frequency, and latent semantic analysis model, there is a significant improvement. This paper also further randomly shuffles the word order and sentence order, making the typical child's story content become disfluent. By visualizing the data samples after dimension reduction, we further observe the distribution of these fluent, disfluent, and those artificially disfluent data samples. We found the artificially disfluent typical samples would move closer to disfluent autistic samples which prove that our extracted features contain the concept of coherency. 關鍵詞：人類行為分析、流暢度、長短期記憶模型、自閉症、說故事 Keywords: Behavioral Signal Processing, Lexical Coherence Representation, LSTM, Autism Spectrum Disorder, Story-telling. 1. 緒論 (Introduction) 自閉症是一種普遍且又病症複雜的精神症候群，不同於一般較單純的精神疾病，每個自 閉症患者之間的症狀異質性非常的高，此一特性也增加了診斷的困難性，因此許多研究 致力於設計出各種評量的標準與特徵來做為人工自閉症診斷或者自動化自閉症診斷的標 準，此類研究對於自閉症的即早治療與縮短診斷時程有極大幫助，也因此在人類行為訊 號處理的領域裡越發蓬勃發展。過去許多研究已針對自閉症與典型孩童的各種不同模態 行為進行過分析，例如利用臉部不同的表情反應特徵來辨識自閉症的研究(Liu, Li & Yi, 2016)，以及利用孩童之間不同的語音表徵(Marchi et al., 2015; Bone et al., 2014)，諸如聲 調或發音咬字等等，也有利用孩童敘事的文字內容去分析語法和用字作為分析自閉症辨 長短期記憶模型之忘記閘提取語意流暢度之架構以自閉症小孩說故事為例 21 識特徵的研究(Regneri & King, 2016; Chorianopoulou et al., 2017)。我們在此篇論文中提出 一種資料導向的語意流暢度特徵提取架構，這個架構能夠利用自閉症以及典型孩童說故 事的資料辨識出說故事的資料來自於自閉症孩童或典型孩童。 過去對於自閉症孩童說故事的分析時常使用許多不同的關鍵字特徵或是主題特徵， 來觀察自閉症與典型孩童的差異(Rouhizadeh, Prud’Hommeaux, Roark & Van Santen, 2013; Rouhizadeh, Sproat, & Van Santen, 2015)。許多研究更指出相對於典型孩童，自閉症孩童 較無法說出一個完整的語法流暢的故事(Losh & Gordon, 2014)，或是自然地描述故事發展 內容的因果關係。分析顯示，自閉症小孩描述故事時，傾向於把故事中的一個個元素、 事件單獨描述，缺乏流暢的串接或敘述各個情節之間的因果關係(Capps, Losh, & Thurber, 2000; Tager-Flusberg, 1995)。而語法表達的不流暢現象也已有研究觀察證實(Diehl, Bennetto & Young, 2006)。而在一篇 ACL2016 的研究中更利用了許多關鍵字性質標註表 達整個文章的劇情走向與分佈，藉由這個導出的劇情發展狀況來當作衡量孩童說故事的 流暢性。然而，以上方法皆須仰賴經過訓練的專業人士標註，標註十分費時，且會受限 於只能在被設計的情況下使用。 因此，我們的研究使用資料導向的方法，以文字向量當作輸入，輸進長短期記憶模 型，使用期訓練好的遺忘閘作為參數，讓機器自己學出表達資料中含有流暢度的時序性 語法特徵。實驗中，我們比較以各不同的特徵來訓練針對說故事資料庫的自閉症辨識模 型的準確率，而我們所提出的語意流暢度特徵所訓練的模型在實驗中達到 0.92 的準確率， 高過於由知名的流暢度特徵，流暢矩陣(Graesser, McNamara, Louwerse & Cai, 2004; McNamara, Graesser, McCarthy & Cai, 2014)所訓練出來的模型。再者，啟發於最新關於 理解神經網路黑盒子的研究(Li, Monroe & Jurafsky, 2016; Koh & Liang, 2017)，我們觀察 改變原始資料的性質後的語意流暢特徵分佈的改變，來試著理解推敲神經網路這個黑盒 子運作，並驗證我們導出的表徵的意義。實驗中，我們將典型孩童所敘述故事的字序和 句序分別打亂，來模擬不同程度的不流暢，結果驚訝的發現，在以我們導出的流暢度表 徵空間裡，被打亂後的不流暢典型小孩說故事資料分佈，會往無法說出流暢故事的自閉 症小孩說出的故事資料分佈靠近，此結果驗證了我們導出的表徵的確含有流暢度的資訊。 此篇論文內容安排如下: 第二節為資料庫以及架構介紹，第三節為實驗結果分析與呈現， 最後第四節為結論。 2. 研究方法 (Research Methodology) 2.1 資料庫 (Database) 這篇論文中，我們使用兩個資料庫，第一個是主要用來驗證我們所提取出的流暢度特徵 辨識力的自閉症與典型孩童說故事資料庫，第二個則是從收錄了許多兒童讀物的童話故 事網站，所爬下來的四種童話故事資料庫，第二個資料庫是用來預訓練使用。 22 劉于碩 等 2.1.1 資料庫一:自閉症與典型孩童說故事資料庫 (Database I) 資料庫一的蒐集方式是由專業培訓過的研究人員引導式的帶領自閉症孩童完成的，使用 的故事書名為瘋狂星期二，故事書本身是一本繪本，書中每頁內容，都是一張圖片，與 一句短句概要這頁的內容，而小孩子會根據圖片內容描述每一頁的劇情，完成整篇故事 的論述。 而說故事的這個情境，便是標準的自閉症診斷觀察量表(Lord, Rutter, Dilavore & Risi, 2008)中的一個單元，此為一國際公認的臨床自閉症診斷量表，我們是與台大兒童醫院共 同合作收集。這個量表是設計來觀測孩童的社交互動行為，因此設計了許多行為單元， 來觀測並評量受測者的行為表現，單元包刮建構式作業、假扮遊戲、共同互動式遊戲、 示範作業、圖片描述、看圖說故事等等。而在我們所使用的看圖說故事單元中，施測者 會先引導一段引文，而孩童則會被要求根據後半部的繪本內容，完成後半部的故事，我 們用相同的流程收集了典型孩童部分的說故事資料，逐字稿的內容舉例如: “星期二的晚上，有一群青蛙在池塘上，他們突然乘著荷葉飛了起來，他們飛到了鄰 近的小鎮，接下來換你說故事……” 在這個資料庫中我們總共收集了 67 位孩童的資料總共約有 28446 字的資料庫，每 篇故事平均約有424字，67位孩童中包括31位自閉症孩童(ASD)以及36位典型孩童(TD)。 表 1 為資料庫相關敘述。 2.1.2 資料庫二:童話故事資料庫 (Database II) 資料庫二是從線上收藏不同種類童話故事的網站所收集而來，我們隨機選了四種篇幅長 短約莫類似的故事種類，來作為我們預訓練的資料庫，這四種故事分別為俗諺故事、床 邊故事、當代童話故事以及謎語故事。每種故事，我們都隨機選了 24 篇故事作為我們的 預訓練資料集，總共 96 篇故事、59212 字，表 2 為相關的描述。 2.2 語意流暢度表徵 (Lexical Coherence Representation) 圖 1. 語意流暢度表徵提取實驗架構圖 [Figure 1. Architecture of lexical coherence representation] 長短期記憶模型之忘記閘提取語意流暢度之架構以自閉症小孩說故事為例 23 圖 1 呈現了用來提取語意流暢度特徵的架構流程，流程包含了資料擴增、中文文字向量 訓練模型、資料庫二之長短期記憶模型預訓練、資料庫一之長短期記憶模型適性訓練以 及最終由遺忘閘提取語意流暢度特徵。 2.2.1 資料擴增 (Data Augmentation) 研究證實，透過資料擴增的方式能夠使的神經網絡看過更廣泛的資料分佈，進而有助於 穩定神經網絡訓練的整體偏差率，在神經網絡翻譯與語音辨識的研究中都已證實這個方 法的幫助性(Fadaee, Bisazza & Monz, 2017; Hannun …

Content truncated to 500 words