Combining Stochastic and Rule-Based Methods for Disambiguation in Agglutinative Languages

Combining Stochastic and Rule-Based Methods for Disambiguation in Agglutinative Languages Ezeiza N., Alegria I., Areola J.M., Urizar R. Informatika Fakultatea 649 P.K Donostia E-20080 jibecran@si.ehu.es http://ixa.si.ehu,es Aduriz I. UZEI Aldapeta, 20. Donostia E-20009 uzei@sarenet.es Laburpena Artikulu honetan metodo estokastiko cta erregeletan oinarritutako mctodoen arteko konbinaketa euskarari aplikatzearcn emaitzak aurkeztuko dimgu.Desanbiguazioan erabilitako metodoak Murrizpcn Gramatika (CG) eta MULTEXT proiektu~ garatutako HMMn oinarritutako etiketatzailea dira. Euskara hizkuntza eranskaria izaki, hitz bakoitzari dagozkion irakurketa guztiak esleitzeko analizatzaile morfoiogikoa beharrezkoa da. Ondoren, CG crregelak informazio morfologiko guztiari aplikatzen zaizkio eta prozesu honek t~stuen anbiguotasuna gutxitzen du. Azkenik, geratntako etiketen artean bakarra hautatzeko MULTEXT proiekmko tresnak erabiltzen dira. Metodo cstokastikoa soilik crabil~ean, crrore-tasa %14 ingurukoa da, baina etiketatzailearen doitasuna hitz ezezagunekin lexikoa aberastuz gero %2 hobe daitekeen arren. Metodo biak konbinatzen direnemL berriz, prozesu osoaren errore-tasa %3.5ekoa da. Ikasketarako eorpusa nahikoa txikia dcla, HMM credua lchenengo mailakoa eta euskararako Murrizpen Gramatika oraindik ere garapcn prozcsuan dagoela kontuan izanik, gure ustez metodo konbinatu hau erabilita emaitza onak lor daitezkc eta bestc hizkuntza cranskarietarako bereziki egokia izml daiteke. Resum En aquest article presentem els resultats de la eombinaci6 de mc3todes cstoc~tsties i basats en regles aplicats a la desambiguaci6 morfosin~ctica de l'euskara. Els m6todes utilitzats per a la desambiguaei6 s6n: les Gramatiques de Restriccions (CG) i l'etiquetador basat en HMM del projecte MULTEXT. E1 carAeter aglutinant de l'euskara fa necessari la utilitzaci6 d'un analitzador morfol6gic per assignar a cada paraula totes les seves interpretacions. Los regles de CG s'apliquen utilitzant la informaeio morfol6gica completa i aquest procds reducix parcialment l'ambigtiitat dels textos. A confinuaci6, s'apliqucn les eines de MULTEXT per escollir una finiea etiqueta. Utilitzant nom6s el m6tode estoeastic la taxa d'error 6s aproxilnadament del 14%, eneara que la precisi6 de l'etiquetador cs pot inerementar cn un 2% utilitzant los paraules desconegudes per enriquir el 16xic. En canvi, la eombinaci6 d'ambd6s m6todes permet reduir l'crror fins al 3.5%. Tenint en compte que el corpus d'aprenentatge 6s bastant petit, que el model HMM ds de primer ordre i que la Gramfitica de Restriccions de reuskara esfft encara cn fase de desenvolupament, creiem que els resultats del m6tode combinat s6n bons i que ta combinaeio de m6todes 6s especialment adequada per a llengfies aglutin,'mts. Resumen En este artieulo presentamos los resultados de la combinaci6n de m6todos estochsticos y basados en reglas aplicados al euskara. Los m6todos utilizados para la desambiguaei6n son las Gram~tticas de Restriceiones (CG) y el etiquetador basado en HMM del proyceto MULTEXT. Siendo el cuskara una lengua aglutinante, ser~ necesario un analizador morfol6gico para asignar a cada palabra todas sus interpretacioncs. A continuaci6n se aplican las reglas de CG utilizando toda la informaei6n morfol6gica y este proceso disminuye la ambigfledad de los textos. Pot 61timo, las herramientas de MULTEXT escoger~n una finica etiqueta. Utilizmado finicamente el m6todo estoc~tstieo la tasa de error es de alrededor del 14%, aunque la precisi6n del etiquetador puede incrementarse en un 2% utilizmldo las palabras desconocidas para enriquecer el 16xico. En cambio, combinando mnbos m6todos la tasa de error del proceso …

Content truncated to 500 words