RCRNN-based Sound Event Detection System with Specific Speech Resolution
1062Authors
nan
Abstract
AbstractSound event detection (SED) system outputs sound events and their time boundaries in audio signals. We proposed an RCRNN-based SED system with residual connection and convolution block attention mechanism based on the mean-teacher framework of semi-supervised learning. The neural network can be trained with an amount of weakly labeled data and unlabeled data. In addition, we consider that the speech event has more information than other sound events. Thus, we use the specific time-frequency resolution to extract the acoustic feature of the speech event. Furthermore, we apply data augmentation and post-processing to improve the performance. On the DCASE 2021 Task 4 validation set, the proposed system achieves the PSDS (Poly-phonic Sound Event Detection Score)-scenario 2 of 57.6% and event-based F1-score of 41.6%, outperforming the baseline score of 52.7% and 40.7%.
Keywords
Full Content
����������� ����� ����� ��������� ������ ���� ������� ������ ���������� ���������� ����� �������� ��� �������� ������ ��� ������� ����� ��� ��������� ���� ������������ �������� ��� ������� ���������� ���������� �� �������� ������� ��� ����������� �������������������������������� �������������������������������� ����������������������� ��� �������� ��� ��� �������� ���� ������� �������� ������� ������������ ������������������� �������������� �� ����������������� ����������������� ����������������� ������������ ����� � ������������������ ������������������ ������������������ ������������������ ������������������ ���������� ����� ���� ���� � ���������� ����������� ����� ��������� ��������������� ��� � ������ ����� �������� ���� ������ ����� � �������� �������� � ������ ����� � ������ �������� ����� ����� ��������� ����� ������ ���� ���� ����� ������ ��� ����� ���� ������ ����� �� ����� �������� �� �������� �� ����������� ��� ������ ���� �������� ���������� ��� ����������� ����� ������ ���� ��������� ����� �� ��� ������������ ��������� �� ��������������� ��������� ��� ������ ������� ��� �� ������� ���� �� ������ �� ������ ������� ���� ��� ��������� ����� �� ��������� �� ���� ����� ���� ��� ������ ����� ��� ���� ��� ��������� ���� ����� ����� ������� ����� �� ��� ��� ������� �������������� ������� ���� �� ������� ��� �������� ������� �� ��� ������ ������ ������������ �� ����� ���� ������������ ��� ��������������� �� ��� ����� ��� ������������ �� ��� ����� ���� ���� � ���������� ���� ��� �������� ������ �������� ��� ���� ������������ ����� ����� ��������� ��������������� ��� �� ������ ����� ��� ����������� �������� �� ������ ������������� ��� �������� ����� �� ������ ����� ��� ������ ������������������� ��������� ��������� ����� ����� ���������� ���� ������� ������ ����� ������ � �� ������������������� �������������������� ������������������� �������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� �������������������� ������������������� ��� ������������� �� �������� ������ ��� ������� ��������� ���� �� ����� ����� ��������� ��� ���������� �� �������� ������������ ��������� The 33rd Conference on Computational Linguistics and Speech Processing (ROCLING 2021) Taoyuan, Taiwan, October 15-16, 2021. The Association for Computational Linguistics and Chinese Language Processing 118 �������������������� �������������������� �������������������� �������������������� ���������������� ����� ���� ���� � � �������� ��������� �� ���� ����� ����� ���� ������ ����������������� ����� ������ ��� �������� ���� � ������ ��� ������ ����� ����������������� �������������������� � ��� ��� ��� ������ ��� ����� � ��������������� ��������� ���� ������ ����������� ��������� ����������� ������ ����������� ������������������� �������������������� �������������������� �������������������� � ����� �� ���� ���� � ����� �� ���� ������� �������������������� �������������������� ������������������� ������������������� �������� �������� �������� �������������������� �������������������� � �������� ��������������� �������������������� ��� � ���� �������������������� �������������������� ������������������� �� ��� ���� ����� ���� ����� ����� ����� �������� ��� �� ���� �������������� ���� ������������ ������ ������������ ����� ���������� ������ ������������ ������������������� �������������������� �������������������� ���������������� ����� ����� ����� ���� �� ���� ���� ����������������� ����� ��� ����� �� 3 × 3���������� ����� ������ ������ ������������ � ������� ����� ��� ��� ��� ���� ���� ��� � ��� ������������ ������ �������������� ����� �������� ��������� ������������� 2 × 2� 2 × 2� 1 × 2� 1 × 2� 1 × 2� 1 × 2 � 1 × 2������ � ��� ������������ ��������� ������ ����� ��������� ������������ ��� ��������������� ��������� �������������������� � ������������ ���������� �� ������ ���������� �������������������� ���������������� ������� ���� �������� �������������� ������� ����������� ���������� �� ���� �������������������������� � �� ����������������������� ��������������������� ��������������������� The 33rd Conference …
Content truncated to 500 words
Labeled Text
AbstractSound event detection (SED) system outputs sound events and their time boundaries in audio signals. We proposed an RCRNN-based SED system with residual connection and convolution block attention mechanism based on the mean-teacher framework of semi-supervised learning. The neural network can be trained with an amount of weakly labeled data and unlabeled data. In addition, we consider that the speech event has more information than other sound events. Thus, we use the specific time-frequency resolution to extract the acoustic feature of the speech event. Furthermore, we apply data augmentation and post-processing to improve the performance. On the DCASE 2021 Task 4 validation set, the proposed system achieves the PSDS (Poly-phonic Sound Event Detection Score)-scenario 2 of 57.6% and event-based F1-score of 41.6%, outperforming the baseline score of 52.7% and 40.7%.
Publication Details
- Paper ID:
- 1062
- Year:
- 2021
- Publication:
- TIPSTER
- Publication Type:
- conf
- DOI:
- nan