Applying Information Extraction to Storybook Question and Answer Generation

應用自動資訊擷取於故事書問答生成之研究 Applying Information Extraction to Storybook Question and Answer Generation 高愷言 Kai-Yen Kao 中央大學資訊工程學系 kykao@g.ncu.edu.tw 張嘉惠 Chia-Hui Chang 中央大學資訊工程學系 chia@csie.ncu.edu.tw 摘要 從故事文本中產生高品質且通順的問題 —答案配對是一件耗時且耗力的事情，問 題的生成目的不是要讓學生回答不出來， 而是幫助學生了解故事所要傳達的訊息， 因此需要經過巧妙的設計將文本中的重 要資訊當成答案，並且生成與之相對應的 問題。在本文中，我們通過將問題類型及 其類型定義結合到輸入中來改進 Fairy- TaleQA 問題生成方法，以微調 BART (Lewis et al., 2020) 模型改進問題生成效 能。此外，我們進一步利用 (Zhong and Chen, 2021) 中的實體和關係提取作為基 於模板的問題生成的元素。使用 pipeline 的方法 (Zhong and Chen, 2021)，最後將 擷取出來的關係作為模板式生成的要素。 Abstract For educators, how to generate high qual- ity question-answer pairs from story text is a time-consuming and labor-intensive task. The purpose is not to make students un- able to answer, but to ensure that students understand the story text through the gen- erated question-answer pairs. In this pa- per, we improve the FairyTaleQA question generation method by incorporating ques- tion type and its definition to the input for fine-tuning the BART (Lewis et al., 2020) model. Furthermore, we make use of the entity and relation extraction from (Zhong and Chen, 2021) as an element of template- based question generation. 關鍵字：問題-答案配對生成、問題回答、 資訊擷取 Keywords: Question-Answer Pairs Gen- eration, Question Answering, Information Ex- traction 1 簡介 大量閱讀是語文教育相當重要的一環，可以讓 學生在學習中保持新鮮感與熱情。若能搭配互 動式教學，與學生進行故事書討論，藉由提出 故事書中的問題，讓學生思考並且回答，可以 評估學生對於故事書的理解，同時增進學生口 語表達能力。本篇研究的目標是幫助老師自動 生成與故事相關的問題—答案配對，讓學生能 根據問題去思考閱讀過的故事書，培養閱讀以 及統整資訊的能力。 Xu 等人 (Xu et al., 2022) 將故事書的提 問方式分為 7 類，包括角色 (Character)、場 景 (Setting)、發生事件 (Action)、人物感受 (Feeling)、因果關係 (Causal Relationship)、 產生結果 (Outcome resolution)、以及未來預 測 (Prediction)，透過這七種面向來設計問題 —答案，涵蓋故事文本中大部分的內容。 問題生成的方式主要有兩種，模板式產生以 及使用序列模型進行生成，傳統的模板式生成 大多是以人工產生的規則進行問題的產生，本 研究利用實體與關係擷取技術，可以將文本中 重要的資訊擷取出來，取代人工撰寫模板的複 雜成本，使得模板式生成也可以產生出具有品 質的問題—答案配對。生成式的模型，可以取 決於是否先提供答案進行生成，本研究使用先 提供答案 (answer-aware) 的方式來生成問題， 擷取答案的方法可以使用 Heuristic-based 的 方式，故只要使用一個模型就可以生成問題— 答案配對。 在本篇論文中，我們對於問題生成使用了 兩種方法，在生成式的方法中，我們加入了問 題類別與其定義，在 FairyTaleQA(Xu et al., 2022) 的資料集中與 baseline 模型相比可以在 ROUGE − L(Recall-Oriented Understudy for Gisting Evaluation) 上提升 0.034，接著我們 在生命教育故事進行人工評估，加入問題類 別與其定義的問題皆獲得比較高的分數，藉 由自動評估與人工評估，皆顯示加入問題類別 與定義可以獲得更好的成果。我們也透過了問 題回答的任務來對於問題—答案配對進行評 估，其結果與人工評估之間的相關性是比使用 ranking model 的相關性略高，也說明了我們 使用這種評估方法也可以很好的對於問題—答 The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 289 案配對進行篩選。在模板式生成問題方面，我 們使用了自動資訊擷取的技術，將故事中文本 的資訊擷取出來，應用在模板式問題生成，可 以對於問題生成有另一種角度的產生。 2 相關研究 2.1 問題生成 (Question Generation) 問題生成 (Question Generation,QG) 是給定 一段文本或句子，生成具有可讀性以及與文本 相關的流暢問句。傳統的問題生成作法是屬於 規則式的產生 (Das et al., 2016)，藉由人工設 計的規則、模板、句法分析將文本中的句子轉 變為疑問句的形式，以此來獲得問題，但是這 樣的作法會因為文本的豐富度大量耗費人力， 擴展性也不佳，後續較少使用。 問題生成也可以用是否給定「答案」來做區 分。有答案 (answer-aware) 的問題生成 (Zhou et al., 2017) 是會先根據文本內容產生特定答 案，這個答案可以是文本中的詞語、句子或是 人工產生的，在生成問題時，答案可以提供模 型在生成問題時有更多的資訊，也可以將問題 限制在答案下生成。無答案 (answer-unaware) 的問題生成顧名思義在生成時沒有給定答案 (Du et al., 2017)，模型可以對文本中的任意 位置進行問題的產生，沒有答案的資訊以及約 束，其產生的問題會較分散且參差不齊，這方 面的研究相對 answer-aware 少很多。 Zhou 等 人 (Zhou et al., 2017) 在 seq2seq(Sequence to sequence) 架構下，增加 了答案 (answer-aware) 進行生成，後續對於 問題生成的任務多採用 seq2seq 的架構來實 做，而預訓練模型的出現也使得這個任務又 有更好的成效，故現在的研究幾乎都使用預 訓練模型：而使用 BERT(Dai et al., 2019)、 BART(Lewis et al., 2020)、T5(Raffel et al., 2020) 等。 Xu 等人在 2022 年提出的 FairyTaleQA(Xu et al., 2022) 的資料集是以故事為目標所建立 的問答生成資料集，其故事來源是來自古騰 堡計畫 (Project Gutenberg) 所收集的書籍， 並且以”Fairytale” 為關鍵字所蒐集的故事書 共 278 本。本研究參考 Paris(Paris and Paris, 2003) 所提出的 7 種類型問題，邀請教育專家 根據故事文本中的內容、以及 7 種類別，進 行問題—答案配對的生成。 2.2 資訊擷取 (Information Extraction) 資訊擷取 (Information Extraction)，是從自 然語言文本 (非結構性資料) 中，抽取結構 化資料的一個過程，是自然語言理解的基本 任務。主要可以分為三個子任務：實體擷取 (Entity Extraction)、關係擷取 (Relation Ex- traction)、事件擷取 (Event Extraction)。 2.2.1 實體擷取 (Entity Extraction) 實體擷取 (Entity Extraction, EE) 是一種從 文本中，將命名實 lewis-etal-2020-bart 體識 別、擷取為預定義類別的任務，包括：人 物 (PER)、地點 (LOC)、組織 (ORG)、時間 (TIME) 等，將原本非結構性的文本，進行序 列標記，擷取出特定實體。 實體擷取的主流方法大概可以分為兩種， 較為傳統的作法為透過建立辭典 (Wu et al., 2020)，再用其來比對文本中的詞語，另一種 是透過機器學習訓練模型進行序列標記的任務 來擷取出實體。 在 進 行 實 體 擷 取 時， 常 常 會 結 合 CRF(Conditional Random Field)，將 CRF 當 作模型的輸出層。而雙向長短期記憶模型 (Bi- directional Long Short-Term Memory，BiL- STM)，BiLSTM-CRF(Huang et al., 2015) 的 架構可以利用記憶功能來保留較長距離的上 下文資訊，以此來提升序列標記的準確度。 而使用 Bidirectional Encoder Representations from Transformers (BERT)(Dai et al., 2019) 對於實體擷取的任務又能更上一層樓，將 BERT 的預訓練模型當作 embedding 層，除 了可以更好的保留上下文關係，更可以有效提 升小樣本資料的擷取準確度。 2.2.2 關係擷取 (Relation Extraction) 關係擷取 (Relation Extraction, RE) 是資訊擷 取 (Information Extraction, IE) 中很重要的子 任務，其可以將文本中一對實體之間的語義關 係所擷取出來，大多數的關係擷取都是以二元 關係為主，關係可以定義為 (ei, r, ej)，ei 與 ej 分別代表兩個實體，r 代表兩個實體之間的 …

Content truncated to 500 words