Prosodic Phrase Break Prediction: Problems in the Evaluation of Models against a Gold Standard

Prosodic Phrase Break Prediction: Problems in the Evaluation of Models against a Gold Standard. Claire Brierley - Eric Atwell School of Computing, University of Leeds, Woodhouse Lane Leeds, LS2 9JT, U.K., {claireb, eric}@comp.leeds.ac.uk ABSTRACT. The goal of automatic phrase break prediction is to identify prosodic-syntactic boundaries in text which correspond to the way a native speaker might process or chunk that same text as speech. This is treated as a classification task in machine learning and output predictions from language models are evaluated against a ‘gold standard’: human-labelled prosodic phrase break annotations in transcriptions of recorded speech - the speech corpus. Despite the introduction of rigorous metrics such as precision and recall, the evaluation of phrase break models is still problematic because prosody is inherently variable; morphosyntactic analysis and prosodic annotations for a given text are not representative of the range of parsing and phrasing strategies available to, and exhibited by, native speakers. This article recommends creating automatically-generated POS tagged and prosodically annotated variants of a text to enrich the gold standard and enable more robust ‘noise- tolerant’ evaluation of language models. RESUME. L'objectif de la prédiction automatique des frontières entre syntagmes est d'identifier dans le texte les frontières prosodiques et syntaxiques qui correspondent à la manière dont un locuteur natif traiterait ou découperait ce texte en parlant. Ceci correspond à une tâche de classement en apprentissage automatique et les prédictions produites à partir des modèles de langage sont évaluées à l'aide d'un corpus de référence, c'est-à-dire un corpus de parole transcrite annoté manuellement par les frontières prosodiques entre syntagmes. Malgré l'utilisation de mesures rigoureuses comme la précision et le rappel, l'évaluation des modèles de frontières entre syntagmes reste problématique car la prosodie est intrinsèquement variable : l'analyse morphosyntaxique et les annotations prosodiques d'un texte donné ne sont pas représentatives de l'ensemble des stratégies d'analyse et de découpage possibles utilisées par les locuteurs natifs. Cet article recommande de générer automatiquement des variantes d'étiquetage morphosyntaxique et d'annotation prosodique d'un texte pour enrichir le corpus de référence et permettre une évaluation des modèles de langage plus robuste et tolérante au bruit. KEY WORDS: Evaluation, prosody, supervised learning, statistical methods MOTS-CLES : évaluation, prosodie, apprentissage supervisé, méthodes statistiques TAL. Volume 48 – n° 1/2007, pages 187 to 206 188 TAL. Volume 48 – n° 1/2007 1. Introduction Prosodic phrasing is a universal characteristic of language (Ladd, 1996) and refers to the way speakers of any given language process speech as a series of chunks: meaningful, stand-alone clusters of words which have some relationship to syntactic phrase structure, the ‘natural joints’ in sentences (Abney, 1995). The correlation and discrepancy between prosody and syntax is a continuing debate in the literature; but there does appear to be consensus on the fact that prosodic phrasing is simpler, shallower and flatter than syntactic structure. Abney (1992) proposes the unifying concept of performance structure, the way in which prosody and syntax interact in practice. Performance structure in English is realised and perceived as a partnership between pitch accents …

Content truncated to 500 words