An Empirical Investigation of Error Types in Vietnamese Parsing

Proceedings of the 27th International Conference on Computational Linguistics, pages 3075–3089 Santa Fe, New Mexico, USA, August 20-26, 2018. 3075 An Empirical Investigation of Error Types in Vietnamese Parsing Quy T. Nguyen1,∗ Yusuke Miyao2 Hiroshi Noji3 Nhung T.H. Nguyen4 1University of Information Technology, Ho Chi Minh City, Vietnam 2National Institute of Informatics, Tokyo, Japan 3Artificial Intelligence Research Center, AIST, Tokyo, Japan 4University of Science, Ho Chi Minh City, Vietnam quynt@uit.edu.vn, yusuke@nii.ac.jp hiroshi.noji@aist.go.jp, nthnhung@fit.hcmus.edu.vn Abstract Syntactic parsing plays a crucial role in improving the quality of natural language processing tasks. Although there have been several research projects on syntactic parsing in Vietnamese, the parsing quality has been far inferior than those reported in major languages, such as English and Chinese. In this work, we evaluated representative constituency parsing models on a Vietnamese Treebank to look for the most suitable parsing method for Vietnamese. We then combined the advantages of automatic and manual analysis to investigate errors produced by the experimented parsers and find the reasons for them. Our analysis focused on three possible sources of parsing errors, namely limited training data, part-of-speech (POS) tagging errors, and ambiguous con- structions. As a result, we found that the last two sources, which frequently appear in Vietnamese text, significantly attributed to the poor performance of Vietnamese parsing. Title and Abstract in Vietnamese Khám phá dựa trên thực nghiệm các kiểu lỗi trong phân tích cú pháp tiếng Việt Phân tích cú pháp đóng vai trò then chốt trong việc cải thiện chất lượng các hệ thống xử lý ngôn ngữ tự nhiên. Mặc dù đã có một vài dự án nghiên cứu về phân tích cú pháp tiếng Việt, chất lượng của những công trình này thấp hơn nhiều so với các nghiên cứu trên các ngôn ngữ phổ biến như tiếng Anh và tiếng Trung Quốc. Trong bài báo này, chúng tôi đánh giá các phương pháp phân tích cú pháp tiêu biểu trên ngân hàng cây cú pháp tiếng Việt để tìm ra phương pháp phân tích cú pháp phù hợp nhất cho tiếng Việt. Sau đó, chúng tôi kết hợp những ưu điểm của phân tích tự động và phân tích thủ công để khám phá các kiểu lỗi mà những phương pháp phân tích cú pháp được thực nghiệm mắc phải và tìm nguyên nhân cho những lỗi đó. Phân tích của chúng tôi tập trung vào ba nguồn chính gây ra lỗi, cụ thể là dữ liệu huấn luyện ít, lỗi trong việc gán nhãn từ loại, và các cấu trúc nhập nhằng. Kết quả cho thấy rằng lỗi trong việc gán nhãn từ loại và cấu trúc nhập nhằng là hai nguyên nhân chính gây ra hiệu suất thấp trong phân tích cú pháp tiếng Việt. 1 Introduction Syntactic parsing plays a crucial role in improving the quality of natural language processing (NLP) ap- plications and speech processing. Parsing has been broadly studied for languages such as English and Chinese, which leads to the development of many parsing …

Content truncated to 500 words