RCRNN-based Sound Event Detection System with Specific Speech Resolution

1062

Authors

nan

Abstract

AbstractSound event detection (SED) system outputs sound events and their time boundaries in audio signals. We proposed an RCRNN-based SED system with residual connection and convolution block attention mechanism based on the mean-teacher framework of semi-supervised learning. The neural network can be trained with an amount of weakly labeled data and unlabeled data. In addition, we consider that the speech event has more information than other sound events. Thus, we use the specific time-frequency resolution to extract the acoustic feature of the speech event. Furthermore, we apply data augmentation and post-processing to improve the performance. On the DCASE 2021 Task 4 validation set, the proposed system achieves the PSDS (Poly-phonic Sound Event Detection Score)-scenario 2 of 57.6% and event-based F1-score of 41.6%, outperforming the baseline score of 52.7% and 40.7%.

Keywords

nan

Full Content

����������� ����� ����� ��������� ������ ���� ������� ������ ���������� ���������� ����� �������� ��� �������� ������ ��� ������� ����� ��� ��������� ���� ������������ �������� ��� ������� ���������� ���������� �� �������� ������� ��� ����������� �������������������������������� �������������������������������� ����������������������� ��� �������� ��� ��� �������� ���� ������� �������� ������� ������������ ������������������� �������������� �� ����������������� ����������������� ����������������� ������������ ����� � ������������������ ������������������ ������������������ ������������������ ������������������ ���������� ����� ���� ���� � ���������� ����������� ����� ��������� ��������������� ��� � ������ ����� �������� ���� ������ ����� � �������� �������� � ������ ����� � ������ �������� ����� ����� ��������� ����� ������ ���� ���� ����� ������ ��� ����� ���� ������ ����� �� ����� �������� �� �������� �� ����������� ��� ������ ���� �������� ���������� ��� ����������� ����� ������ ���� ��������� ����� �� ��� ������������ ��������� �� ��������������� ��������� ��� ������ ������� ��� �� ������� ���� �� ������ �� ������ ������� ���� ��� ��������� ����� �� ��������� �� ���� ����� ���� ��� ������ ����� ��� ���� ��� ��������� ���� ����� ����� ������� ����� �� ��� ��� ������� �������������� ������� ���� �� ������� ��� �������� ������� �� ��� ������ ������ ������������ �� ����� ���� ������������ ��� ��������������� �� ��� ����� ��� ������������ �� ��� ����� ���� ���� � ���������� ���� ��� �������� ������ �������� ��� ���� ������������ ����� ����� ��������� ��������������� ��� �� ������ ����� ��� ����������� �������� �� ������ ������������� ��� �������� ����� �� ������ ����� ��� ������ ������������������� ��������� ��������� ����� ����� ���������� ���� ������� ������ ����� ������ � �� ������������������� �������������������� ������������������� �������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� ������������������� �������������������� ������������������� ��� ������������� �� �������� ������ ��� ������� ��������� ���� �� ����� ����� ��������� ��� ���������� �� �������� ������������ ��������� The 33rd Conference on Computational Linguistics and Speech Processing (ROCLING 2021) Taoyuan, Taiwan, October 15-16, 2021. The Association for Computational Linguistics and Chinese Language Processing 118 �������������������� �������������������� �������������������� �������������������� ���������������� ����� ���� ���� � � �������� ��������� �� ���� ����� ����� ���� ������ ����������������� ����� ������ ��� �������� ���� � ������ ��� ������ ����� ����������������� �������������������� � ��� ��� ��� ������ ��� ����� � ��������������� ��������� ���� ������ ����������� ��������� ����������� ������ ����������� ������������������� �������������������� �������������������� �������������������� � ����� �� ���� ���� � ����� �� ���� ������� �������������������� �������������������� ������������������� ������������������� �������� �������� �������� �������������������� �������������������� � �������� ��������������� �������������������� ��� � ���� �������������������� �������������������� ������������������� �� ��� ���� ����� ���� ����� ����� ����� �������� ��� �� ���� �������������� ���� ������������ ������ ������������ ����� ���������� ������ ������������ ������������������� �������������������� �������������������� ���������������� ����� ����� ����� ���� �� ���� ���� ����������������� ����� ��� ����� �� 3 × 3���������� ����� ������ ������ ������������ � ������� ����� ��� ��� ��� ���� ���� ��� � ��� ������������ ������ �������������� ����� �������� ��������� ������������� 2 × 2� 2 × 2� 1 × 2� 1 × 2� 1 × 2� 1 × 2 � 1 × 2������ � ��� ������������ ��������� ������ ����� ��������� ������������ ��� ��������������� ��������� �������������������� � ������������ ���������� �� ������ ���������� �������������������� ���������������� ������� ���� �������� �������������� ������� ����������� ���������� �� ���� �������������������������� � �� ����������������������� ��������������������� ��������������������� The 33rd Conference …

Content truncated to 500 words

Labeled Text

AbstractSound event detection (SED) system outputs sound events and their time boundaries in audio signals. We proposed an RCRNN-based SED system with residual connection and convolution block attention mechanism based on the mean-teacher framework of semi-supervised learning. The neural network can be trained with an amount of weakly labeled data and unlabeled data. In addition, we consider that the speech event has more information than other sound events. Thus, we use the specific time-frequency resolution to extract the acoustic feature of the speech event. Furthermore, we apply data augmentation and post-processing to improve the performance. On the DCASE 2021 Task 4 validation set, the proposed system achieves the PSDS (Poly-phonic Sound Event Detection Score)-scenario 2 of 57.6% and event-based F1-score of 41.6%, outperforming the baseline score of 52.7% and 40.7%.

Publication Details

Paper ID:
1062
Year:
2021
Publication:
TIPSTER
Publication Type:
conf
DOI:
nan