Traitement Automatique des Langues, Volume 58, Numéro 1 : Varia [Varia]
1651Authors
nan
Abstract
. Recurrent Neural Networks have proved effective on several NLP tasks. Despite such great success, their ability to model sequence labeling is still limited. This lead research toward solutions where RNNs are combined with models successfully employed in this context, like CRFs. In this work we propose a simpler solution: an evolution of the Jordan RNN, where labels are reinjected as input into the network and converted into embeddings, the same way as words. We compare this variant to all the other RNN models, Elman, Jordan, LSTM and GRU, on two tasks of Spoken Language Understanding. Results show that the new variant, which is more complex than Elman and Jordan RNNs, but far less than LSTM and GRU, is more effective than other RNNs and outperforms sophisticated CRF models. MOTS-CLÉS : RNN, modélisation de séquences, compréhension automatique de la parole. KEYWORDS: RNNs, sequence modelling, spoken language understanding. TAL. Volume 58 – n° 1/2017, pages 13 à 37 14 TAL. Volume 58 – n° 1/2017 1.
Keywords
Full Content
Varia sous la direction de Jean-Luc Minel Emmanuel Morin Pascale S´ebillot Isabelle Tellier Vol. 58 - no1 / 2017 Varia Jean-Luc Minel, Emmanuel Morin, Pascale S´ebillot, Isabelle Tellier Pr´eface Marco Dinarelli, Yoann Dupont Mod´elisation de d´ependances entre ´etiquettes dans les r´eseaux neuronaux r´ecurrents R´emy Kessler, Guy Lapalme AGOHRA : g´en´eration d’une ontologie dans le domaine des ressources humaines Cynthia Van Hee, Marjan Van de Kauter, Orph´ee De Clercq Els Lefever, Bart Desmet, V´eronique Hoste Noise or music? Investigating the usefulness of normalisation for ro- bust sentiment analysis on social media data Denis Maurel Notes de lecture TAL Vol. 58 no1 2017 Varia Traitement automatique des langues Revue publiée depuis 1960 par l’Association pour le Traitement Automatique des LAngues (ATALA), avec le concours du CNRS, de l’Université Paris VII et de l’Université de Provence c⃝ATALA, 2017 ISSN 1965-0906 https ://www.atala.org/revuetal Le Code de la propriété intellectuelle n’autorisant, aux termes de l’article L. 122-5, d’une part, que les « copies ou reproductions strictement réservées à l’usage privé du copiste et non desti- nées à une utilisation collective » et, d’autre part, que les analyses et les courtes citations dans un but d’exemple et d’illustration, « toute représentation ou reproduction intégrale, ou partielle, faite sans le consentement de l’auteur ou de ses ayants droit ou ayants cause, est illicite » (article L. 122-4). Cette représentation ou reproduction, par quelque procédé que ce soit, constituerait donc une contrefaçon sanctionnée par les articles L. 225-2 et suivants du Code de la propriété intellec- tuelle. Traitement automatique des langues Comité de rédaction Rédacteurs en chef Jean-Luc Minel - Modyco, Universite Paris Ouest Nanterre La Defense Emmanuel Morin - LS2N, Université Nantes Pascale Sébillot - IRISA, INSA Rennes Isabelle Tellier - LaTTiCe, Université Paris 3 Membres Salah Aït-Mokhtar - Naver Labs Europe, Grenoble Maxime Amblard - LORIA, Université Lorraine Frédéric Béchet - LIF, Université Aix-Marseille Patrice Bellot - LSIS, Université Aix-Marseille Laurent Besacier - LIG, Université de Grenoble Pierrette Bouillon - ETI/TIM/ISSCO, Université de Genève, Suisse Thierry Charnois - LIPN, Université Paris 13 Vincent Claveau - IRISA, CNRS Mathieu Constant - ATILF, Université Lorraine Laurence Danlos - ALPAGE, Université Paris 7 Gaël Harry Dias - GREYC, Université Caen Basse-Normandie Iris Eshkol - LLL, Université Orléans Dominique Estival - The MARCS Institute, University of Western Sydney, Australie Cécile Fabre - CLLE-ERSS, Université Toulouse 2 Cyril Goutte - Technologies Langagières Interactives, CNRC, Canada Nabil Hathout - CLLE-ERSS, CNRS Sylvain Kahane - MoDyCo, Université Paris Nanterre Mathieu Lafourcade - LIRMM, Université Montpellier 2 Philippe Langlais - RALI, Université de Montréal, Canada Yves Lepage - Université Waseda, Japon Denis Maurel - Laboratoire d’Informatique, Université François-Rabelais, Tours Sien Moens - KU Leuven, Belgique Philippe Muller - IRIT, Université Paul Sabatier, Toulouse Alexis Nasr - LIF, Université Aix-Marseille Adeline Nazarenko - LIPN, Université Paris 13 Patrick Paroubek - LIMSI, CNRS Sylvain Pogodalla - LORIA, INRIA Sophie Rosset - LIMSI, CNRS François Yvon - LIMSI, Université Paris Sud Secrétaire Aurélie Névéol - LIMSI, CNRS Traitement automatique des langues Volume 58 – n˚1 / 2017 …
Content truncated to 500 words
Labeled Text
. Recurrent Neural Networks have proved effective on several NLP tasks. Despite such great success, their ability to model sequence labeling is still limited. This lead research toward solutions where RNNs are combined with models successfully employed in this context, like CRFs. In this work we propose a simpler solution: an evolution of the Jordan RNN, where labels are reinjected as input into the network and converted into embeddings, the same way as words. We compare this variant to all the other RNN models, Elman, Jordan, LSTM and GRU, on two tasks of Spoken Language Understanding. Results show that the new variant, which is more complex than Elman and Jordan RNNs, but far less than LSTM and GRU, is more effective than other RNNs and outperforms sophisticated CRF models. MOTS-CLÉS : RNN, modélisation de séquences, compréhension automatique de la parole. KEYWORDS: RNNs, sequence modelling, spoken language understanding. TAL. Volume 58 – n° 1/2017, pages 13 à 37 14 TAL. Volume 58 – n° 1/2017 1.
Publication Details
- Paper ID:
- 1651
- Year:
- 2017
- Publication:
- TIPSTER
- Publication Type:
- conf
- DOI:
- nan