Urdu Word Segmentation using Conditional Random Fields (CRFs)

Proceedings of the 27th International Conference on Computational Linguistics, pages 2562–2569 Santa Fe, New Mexico, USA, August 20-26, 2018. 2562 Urdu Word Segmentation using Conditional Random Fields (CRFs) Haris Bin Zia ITU, Pakistan haris.zia@itu.edu.pk Agha Ali Raza ITU, Pakistan agha.ali.raza@itu.edu.pk Awais Athar EMBL-EBI, UK awais@ebi.ac.uk Abstract State-of-the-art Natural Language Processing algorithms rely heavily on efficient word segmen- tation. Urdu is amongst languages for which word segmentation is a complex task as it exhibits space omission as well as space insertion issues. This is partly due to the Arabic script which although cursive in nature, consists of characters that have inherent joining and non-joining attributes regardless of word boundary. This paper presents a word segmentation system for Urdu which uses a Conditional Random Field sequence modeler with orthographic, linguistic and morphological features. Our proposed model automatically learns to predict white space as word boundary as well as Zero Width Non-Joiner (ZWNJ) as sub-word boundary. Using a man- ually annotated corpus, our model achieves F1 score of 0.97 for word boundary identification and 0.85 for sub-word boundary identification tasks. We have made our code and corpus pub- licly available to make our results reproducible. Title and Abstract in Urdu ں یم ودرا ظا فللاا ع ی ت ق ت زڈل ن ف مڈ ن یر ل ن ش یڈ نک ہع ترذ ب لما ش ں یم ںو نا بز نا ودرا ۔ں ی ہ ے ترک راصح یا تہ ب ر ت م یش ق ت ں یم ظا فلا یک ر ترچ ی ںاور مھ تروگلا ےک گ نش یسار ت ج یوگ ن تل لر چ ی ی ن یر ت د بد ج ہ ے ق ترط راکدو خ ں یم ن ج ے ع ی ت ق ت ہ ی ےس اد ر ت روط یرور ضر ث غ یھ یک روا ے ہ ی تا ج ید رک فذج ر ثکا ہگ ج یلا ج نا نمرد ےک ظا فلا ت فو ے تھکل ودرا ہک بو یک ے ہ لمع ہد ن چ ی ی ک با ظا فللاا ج یوز ج ہل نشم ہ ی ۔ے ہ ی تا ج ید رک یھ ت ل فورج ،ر ظ ت عط قےس ظا فلا ِدودج ں یم س ج ے ہ ےس ہ جو یک لامع یسا ےک ط حلا مسر ی ترع ر ت روط ہ ی تا ج ی تا ب لاک شا ںو نود ،ہلص یم ر ث غ روا ہلص یم یک ےک ودرا م ہ ں یم ہلا فم سا ۔ ں ی فاصوا یو یعم روا ی تاسل ،ی تلاما ما ظ ت ہ ی ۔ے ہ ا نکش رک ع ی ت ق ت ی تاشآا ب یک ر ترچ ی ودرا یھ ت یسک و خ ں ی ہ ے ہر رک ش ی پ ما ظ ت راک دو خ ک با ے تل ک ل ن ش یڈ نک ک با ےلاو ے ترک لامع یسا ا م ر ت لڈام ڈل ن ف مڈ …

Content truncated to 500 words