A Study on Using Different Audio Lengths in Transfer Learning for Improving Chainsaw Sound Recognition

摘要 在山林中，由於聲音的多元複雜及環 境中諸多的雜訊，電鋸聲音的識別是 富有挑戰性的任務。本研究認為以不 同的聲音長度對於模型的訓練結果可 能有所差異，故以簡易的 LeNet 模型結 合了平均池化層設計出能夠接受任意 長度音訊的識別模型。本研究主要分 析不同聲音長度對於模型訓練之影響 以及短至長與長至短音訊的遷移學習 結果。本實驗皆以 ESC-10 資料集來訓 練模型並以自行蒐集的電鋸聲資料集 驗證模型的準確度。實驗結果表明(1) 以 1 秒、3 秒、5 秒資料集分別訓練的 三個模型，在 1 秒、3 秒與 5 秒的電鋸 聲 驗 證 集 中 ， 各 達 到 74%~78%、 74%~77%與 79%~83%的準確度。(2)以 1 秒→3 秒→5 秒的 ESC-10 資料遷移學 習的模型於 1 秒、3 秒與 5 秒電鋸聲驗 證 集 中 分 別 達 到 85.28%、88.67%與 91.8%準確度，均較原訓練方法有所明 顯提升。(3)在遷移式學習中，相較於 長至短秒數的遷移訓練，以短至長秒 數的遷移訓練得到了較佳的結果；尤 其在 5 秒的電鋸聲驗證集中相差了 14% 的準確度。 Abstract Chainsaw sound recognition is a challenging task because of the complexity of sound and the excessive noises in mountain environments. This study aims to discuss the influence of different sound lengths on the accuracy of model training. Therefore, this study used LeNet, a simple model with few parameters, and adopted the design of average pooling to enable the proposed models to receive audio of any length. In performance comparison, we mainly compared the influence of different audio lengths and further tested the transfer learning from short-to-long and long-to- short audio. In experiments, we used the ESC-10 dataset for training models and validated their performance via the self- collected chainsaw-audio dataset. The experimental results show that (a) the models trained with different audio lengths (1s, 3s, and 5s) have accuracy from 74%~78%, 74%~77%, and 79%~83% on the self-collected dataset. (b) The generalization of the previous models is significantly improved by transfer learning, the models achieved 85.28%, 88.67%, and 91.8% of accuracy. (c) In transfer learning, the model learned from short-to-long audios can achieve better results than that learned from long-to-short audios, especially being differed 14% of accuracy on 5s chainsaw-audios. 關鍵字：聲音辨識、環境聲音分類、電鋸聲音 識別、遷移學習 Keywords: Voice Recognition, Environmental Sound Classification, Chainsaw Sound Recognition, Transfer Learning 1 緒論 近年來對於環境保護的意識逐漸在社會大眾 中受到重視，其中針對森林的相關議題除了 天災的野火、土石流，就是針對人為因素的 防範，在人為的事件中對於森林破壞度最大 的就是盜伐，透過監視器或是人工巡邏對於 保護一個森林來說成本以及保護力度都不足 運用不同音訊長度於遷移式學習以提升電鋸聲音識別能力之研究 A Study on Using Different Audio Lengths in Transfer Learning for Improving Chainsaw Sound Recognition 張家瑋 Jia-Wei Chang jiaweichang.gary@gmail.com 胡忠雲 Zhong-Yun Hu e871223eeee@gmail.com 國立臺中科技大學資訊工程系 Department of Computer Science and Information Engineering National Taichung University of Science and Technology The 34th Conference on Computational Linguistics and Speech Processing (ROCLING 2022) Taipei, Taiwan, November 21-22, 2022. The Association for Computational Linguistics and Chinese Language Processing 67 夠，但如果透過聲音監控的方式，可以將布 置防護網的成本降低，也可以更加即時的反 應盜伐事件的發生。這個任務是屬於環境聲 音 分 類(Environmental Sound Classification, ESC)的範疇，在進行環境聲音分類的任務之 前需要將聲音經過預處理，預處理的方法有 很多，也能取得許多不同的特徵以供模型使 用。過零率(Zhang and Kuo, 2001)、小波特徵 (Valero and Alías, 2012)、 梅 爾 倒 頻 譜 係 數 (MFCC)(Uzkent et al., 2012)。目前機器學習與 深度學習已經被廣泛的應用於環境聲音分類 任務上。支持向量機(Support Vector Machine， SVM) (Chu et al., 2009; Piczak, 2015b)、隨機森 林 分 類 器(Random Forest Classifier，RF) (Piczak, 2015b)、 高 斯 混 合 模 型(Gausasian Mixture Model，GMM) (Piczak, 2015b; Dhanalakshmi et al., 2011)都是經典的機械學習 方法。但是機器學習一開始的訓練很耗費時 間和成本。如果沒有充足的資料，難以訓練 出可用的模型。近年來，深度學習技術已被 很好的應用於從聲音信號中提取高辨識度特 徵以執行環境聲音分類。提取有用特徵以及 對於細微聲音仍然保持良好的泛化能力使深 度學習成為了環境聲音分類的首選方式。環 境聲音分類與語音辨識任務的不同之處在 於，環境聲音分類所要識別的聲音通常都是 零散的，同一類的聲音所轉換出的頻譜圖可 能表現出相當大的落差，聲音模式可以是連 續的、不規則的、瞬間的、而且大部分會包 含許多吵雜或是無聲的帧，我們輸入的聲音 長度也有可能不同。並且如果需要將模型應 用於森林之中的小型監控設備，對於模型的 大小、複雜度以及聲音的長度都有較大的限 制，因此本篇論文想要研究在一個簡單的模 型中，所以本篇嘗試透過改變訓練時的音訊 秒數以進行遷移式學習(Zhuang et al., 2020; Liao et al., 2021; Hung and Chang., 2021)來研究 模型針對訓練集外的電鋸聲音判斷的敏感 度。本研究其餘章節的組織如下：第二節說 明本研究會使用之環境聲音模型原始架構相 關工作，第三節介紹本研究所使用的資料集 以及解釋本研究實行之方法論，第四節為本 研究模型訓練結果比較以及模型對於資料集 音訊外的聲音判斷能力結果，第五章對實驗 結果進行相關討論，第六章總結本研究結 果。 2 相關研究 本章節介紹使用基於深度學習的模型進行環 經聲音分類的相關工作。 2.1 將頻譜圖應用於 CNN 由於將音訊轉換成頻譜圖後能得到二維的特 徵，所以頻譜圖一直是聲音深度學習模型喜 歡使用的預處理方式。在 CNN 問世後(Piczak, 2015a)首次提出將頻譜圖特徵作為輸入並執行 ESC 的 2D-CNN， 根 據 研 究 結 果 表 示 與 SVM、RF、GMM 等 機 器 學 習 模 型 相 比 PiczakCNN 顯著的提高了辨識的準確度，受到 PiczakCNN 的啟發，愈來愈多的人將頻譜圖輸 入不同的 CNN 模型，也有人結合了預訓練網 路都得到了極佳的效果(如 GoogleNet(Szegedy et al., 2015)和 AlexNet(Krizhevsky et al., 2012))。 2.2 LeNet-5 …

Content truncated to 500 words