Data Augmentation Technology for Dysarthria Assistive Systems

�� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� ����������������� Free-talk � � � � � � � � � � � 64.42%�� 4.39%��������� ����������������� ���� Abstract Voice-driven communication aids are one of the methods commonly used by patients with dysarthria. However, this type of assistive devices demands a large amount of voice data from patients to increase the effectiveness. In the meantime, this will sink patients into an overwhelming recording burden. Due to those difficulties, this research proposes a voice augmentation system to conquer the aforementioned concern. Furthermore, the system can improve the recognition efficiency. The results of this research reveal that the proposed speech generator system for dysarthria can launch corpus to be more similarities to the patient's speech. Moreover, the recognition rate, in duplicate sentences, has been improved and promoted to the higher level. The word error rate can be reduced from 64.42% to 4.39% in the case of patients with Free-talk. According to these results, our proposed system can provide more reliable and helpful technique for the development of communication aids. ��� ����� ����� ������ ����� Data Augmentation Technology for Dysarthria Assistive Systems ��� Wei-Chung Chu ���������������� Department of Biomedical Engineering National Yang Ming Chiao Tung University abc55169@gmail.com ��� Ying-Hsiu Hung ���������������� Department of Biomedical Engineering National Yang Ming Chiao Tung University wer850718906@gmail.com ��� Wei-Zhong Zheng ���������������� Department of Biomedical Engineering National Yang Ming Chiao Tung University s1010654@gm.ym.edu.tw ��� Ying-Hui Lai ���������������� Department of Biomedical Engineering National Yang Ming Chiao Tung University yh.lai@nycu.edu.tw The 33rd Conference on Computational Linguistics and Speech Processing (ROCLING 2021) Taoyuan, Taiwan, October 15-16, 2021. The Association for Computational Linguistics and Chinese Language Processing 144 ��������������������� ���� Keywords: dysarthria, communication assistance system, data augmentation, deep learning �� ��� �������(���)������� �������������������� ���������(2020)�������� ��� 4000 �������������� � 100 ����������������� ������������������� ������������������� ������� ����������������� (augmentative and alternative communication, AAC)����������������� � AAC �������(Calculator et al., 1983)� ����(Lin et al., 2006)����� AAC �� ��(���� 2~5 ��)��������� ���� (���� 127�46 ��)(Murdoch & Theodoros, 2001)������������ ������������������� ������������������� � � � � � � � � � � � � � � �(voice conversion, VC)� � � � � � �(automatic speech recognition, ASR)��������� ��������� � VC ��������������� Yang et al.(2020)� � � � � � � � cycle- consistent generative adversarial network (cycle- GAN)������������������ ������������������� 33.4%������(word error rate, WER)� Wang et al.(2020)���������(text-to- speech, TTS)� knowledge distillation (KD)�� � end-to-end VC ������������ ������������������� ����������� 35.4%� 48.7%� WER� ����� ASR ���������� ������� Shor et al. (2019)������ ������������������� ������������������� ��(1000 ��������)���� RNN- T �������� 36.7 ��������� �����(finetune)����������� ����������� 22.3%� 38%� WER�Takashima et al. (2019) ������ (transfer learning)������������ ������������������� ������ ASR ��������(� 38.49%�� 25.69%)� ����������������� �������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ��������������� Vachhani et al. (2018)���������������� �������������������� �������� ASR ��������� ����������� ASR ������ 3%������������������ ������������������� � � � � � Jiao et al. (2018)� � deep convolutional generative adversarial network �� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ����������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� �������������� �� ����������� ����������������� ������������������� ���������������(dysarthric The 33rd Conference on Computational Linguistics and Speech …

Content truncated to 500 words