Exploring the Integration of E2E ASR and Pronunciation Modeling for English Mispronunciation Detection

. � �� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ���� N ������������ ����������������� ����������������� ����������������� ����������������� ����������������� ���������� Abstract There has been increasing demand to develop effective computer-assisted language training (CAPT) systems, which can provide feedback on mispronunciations and facilitate second-language (L2) learners to improve their speaking proficiency through repeated practice. Due to the shortage of non-native speech for training the automatic speech recognition (ASR) module of a CAPT system, the corresponding mispronunciation detection performance is often affected by imperfect ASR. Recognizing this importance, we in this paper put forward a two-stage mispronunciation detection method. In the first stage, the speech uttered by an L2 learner is processed by an end-to-end ASR module to produce N-best phone sequence hypotheses. In the second stage, these hypotheses are fed into a pronunciation model which seeks to faithfully predict the phone sequence hypothesis that is most likely pronounced by the learner, so as to improve the performance of mispronunciation detection. Empirical experiments conducted a English benchmark dataset seem to confirm the utility of our method. ��������������������N- best ���� Keywords : End-to-End Speech Recognition , Mispronunciation Detection and Diagnosis , N-best Rescoring 1 �� (Introduction) �������������������� �������������������� �������������������� �������������������� � � � (Mark Warschauer, 1995; Mark Warschauer et al., 2000)���������� � � � � � � � (Computer Assisted Pronunciation Training, CAPT)������� ��������������������� �������������������������� Exploring the Integration of E2E ASR and Pronunciation Modeling for English Mispronunciation Detection Hsin-Wei Wang1, Bi-Cheng Yan1, Yung-Chang Hsu2, Berlin Chen1 1 Department of Computer Science and Information Engineering National Taiwan Normal University 2 EZ-AI Inc. Taipei, Taiwan { hsinweiwang, bicheng, berlin }@ntnu.edu.tw mic@ez-ai.com.tw The 33rd Conference on Computational Linguistics and Speech Processing (ROCLING 2021) Taoyuan, Taiwan, October 15-16, 2021. The Association for Computational Linguistics and Chinese Language Processing 124 . 1 ������ Hybrid CTC/Attention Architecture for End-to-End Speech Recognition. ������ CAPT ��������� (prompt)���������������� �������������������� ���������� ������������������� �������������������� � � � � � � � � � � � � � � � � (canonical phone)������������� �������������������� ����������������(Deep Neural Network-Hidden Markov Model, DNN- HMM)(Geoffrey Hinton et al., 2012)����� �������������������� �������������������� ���������� CAPT ������� �������������������� �������������������� ���(non-native speaker)��������� �������������������� ������������������� (pronunciation model)����������� �������������������� ������������������/�� ��������������������� 2 � ����������� (E2E ASR) 2.1 CTC (Connectionist Temporal Classification) ��������� 2006 ���(Alex Graves et al., 2006)����������� T ��� ���� X� � � ��� �������� � ��� � � �� (��� ��� t ��� D �������) ���� � L ����� C�� � ��� �� ������ � �� � � �� (U ��������)����������� ������� �������CTC ������ ��������(blank symbol)������ ����������������� � � ��� � �� ���� � ������ � ��� � � �� �CTC ��� ������� ��������� � � � ���������� ��������� � ��� � (1) ������������ ������������ ������� � CTC ������������ ���������������� 2.2 ����� (Attention Mechanism) � CTC ���������������(Jan Chorowski et al., 2015)����������� ���������� ������������ ���������� ��������� � � �������� � � ����� �� � ��� (2) ���� �������� � � ����� �� ������ ��� �� � ���������� (3) ��� � ���������������������� ���� ��������������������������� � � ����� ��� (4) �� � � …

Content truncated to 500 words