A Preliminary Study on Automated Speaking Assessment of English as a Second Language (ESL) Students

摘要 為順應國際化潮流，大學生對於國際交流以及英 語授課所需之英文口說有越來越迫切的需求。本 論文旨在發展自動化英語評測系統，並初探臺灣 大學生之英語精熟程度。基於近期在臺灣所蒐集 的 口 說 語 料 ， 我 們 藉 由 一 套 自 動 語 音 辨 識 (Automatic Speech Recognition, ASR)系統，將語音 轉寫成文字並擷取其中聲學特徵，最後使用機器 學習模型來挑選適用的特徵以預測學生英語口說 精熟度(English Speaking Proficiency)。經一系列所 蒐集的臺灣大學生口說測驗語料的實驗和分析顯 示，使用機器學習方法來進行自動英語口說能力 分級，能較專家人工分級有更高的穩定性。 Abstract Due to the surge in global demand for English as a second language (ESL), developments of automated methods for grading speaking proficiency have gained considerable attention. This paper aims to present a computerized regime of grading the spontaneous spoken language for ESL learners. Based on the speech corpus of ESL learners recently collected in Taiwan, we first extract multi-view features (e.g., pronunciation, fluency, and prosody features) from either automatic speech recognition (ASR) transcription or audio signals. These extracted features are, in turn, fed into a tree-based classifier to produce a new set of indicative features as the input of the automated assessment system, viz. the grader. Finally, we use different machine learning models to predict ESL learners' respective speaking 1 ELSA SPEAK: https://elsaspeak.com/en/ proficiency and map the result into the corresponding CEFR level. The experimental results and analysis conducted on the speech corpus of ESL learners in Taiwan show that our approach holds great potential for use in automated speaking assessment, meanwhile offering more reliable predictive results than the human experts. 關鍵字：自動發音檢測、英語能力分級 Keywords: automated speaking assessment, grader, CEFR 1 緒論 (Introduction) 為增加國際競爭力，臺灣的大學校園裡需要 用到英語口說的情境大幅增加，舉凡國際交 流以及全英語授課(English as a Medium of Instruction, EMI)，其中對於英文的口說能力的 教學與測驗也有迫切的需求。根據過往經 驗，學習者會使用線上的英語口說教學資源 練習英語，而近年主流的應用程式12，在其口 說練習中，題目以朗讀的發音練習為主，並 使 用 自 動 語 音 辨 識 (Automatic Speech Recognition, ASR)檢視語者的音素(Phoneme) 發音是否與系統中的母語語者的發音資料相 同，來提供語者發音正確與否的回饋。 for 而劍橋自動化語言教學與評估中心(Institute Automated Language Teaching and Assessment, ALTA)所發展的 Speak & Improve 2 EF Hello: https://tw.hello.ef.com/ 自動口說評估於英語作為第二語言學習者的初步研究 A Preliminary Study on Automated Speaking Assessment of English as a Second Language (ESL) Students 吳姿儀 Tzu-I Wu1, 羅天宏 Tien-Hong Lo1, 趙福安 Fu-An Chao2, 宋曜廷 Yao-Ting Sung3, 陳柏琳 Berlin Chen1 1國立台灣師範大學資訊工程學系 1Department of Computer Science and Information Engineering, National Taiwan Normal University 2國立台灣師範大學心理與教育測驗研究發展中心 2Research Center for Psychological and Educational Testing, National Taiwan Normal University 3國立台灣師範大學教育與心理輔導學系 3Department of Educational Psychology and Counseling, National Normal Taiwan University {61047087s, teinhonglo, fuann, sungtc, berlin}@ntnu.edu.tw The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 174 網站3，則提供更進階的口說練習，使用者會 需要回答一連串的問題，經過系統分析，並 得到以歐洲共同語言標準 (Common European Framework of Reference for Language, CEFR) 為 分級的英語程度級數。相較於只考慮發音正 確性的朗讀測驗，此系統需考量更全面的面 向(如單詞使用、文法等)來取得整體式評分 (Holistic Scoring)。 受到上述多元的英語口說工具啟發，本研 究想發展英語評測平臺以初探臺灣大學生的 英語音韻程度。我們希望藉由多樣的特徵以 及迴歸與分類模型來客觀地預測受試臺灣大 學生的英語音韻精熟度，發展適合臺灣本地 大學生的英語口說評量平臺，以歐洲通用語 言參考框架 (CEFR) 作為標準，有效地為其分 析英語口說能力表現且分級，並期許大學生 能透過平臺的回饋，使之成為自我英語口說 精進之依據。 2 相關研究 (Related Work) 目前國外已有很多針對非母語語者之英語口 說自動化測驗的研究，其文獻多半以自動化 評分為目標，並使用多元測驗的題型來研究 口說精熟度的特徵。 Zechner et al. (2011) 於口說測驗中「朗讀」 的任務上，藉由自動產生音韻特徵 (Prosodic Features) 來預測非母語人士英語精熟度分數， 因為是朗讀文本，所以相較於一般口說測驗 3 Speak&Improve：https://speakandimprove.com/ 中「回答問題」的題型，在語音辨識上的複 雜程度相對較低。而 Knill et al. (2018) 使用 ASR 轉錄的文字資訊，探討了 ASR 的表現對 於口說測驗中回答問題之題型所造成的影 響。由於 ASR 錯誤率會影響到自動化口說評 分系統的結果，因此他們嘗試改進 ASR 轉錄 文本上的單詞錯誤率(Word Error Rate, WER)， 並納入其他語音相關特徵，以豐富其自動化 口說評分系統。Craighead et al. (2020) 則僅基 於來自 ASR 獲得的轉錄文本，使用多目標訓 練 的 預 訓 練 語 言 模 型(Pretrained Language Model)，來為學習者評分。 除了使用文本作為英文精熟度分析基礎之 外，也有一些文獻加入聲音或視覺特徵來預 測不同任務上的英語口說精熟度。在人與機 器的對話測驗上，Litman et al. (2018) 使用如 F0, 能量 (Power) 的聲音特徵來為非母語的英 文口說精熟度評分。而在口說問答自動化評 估 的 研 究 ，Wang et al. (2018) 使 用 能 量 (Energy) 作為其口說測驗訓練模型基準的輸入 特徵之一。Saeki et al.(2021) 在為面試任務的 口說任務上，使用詞彙、聲學以及視覺特 徵，由類神經網路訓練並預測非母語口說語 者的 CEFR 分級，其中的聲學特徵是使用音高 (Pitch) 和能量 (Power) ，而其實驗結果顯示結 合詞彙及聲學特徵就能取得很好的正確率。 從前述的研究都顯示出從 ASR 與這些聲學 特徵都能提升自動化為非母語學習者評價口 說精熟度的有效性。而我們的自動化評測系 圖 1. 自動化英語精熟度系統 The 34th Conference on …

Content truncated to 500 words