How Far Does BERT Look At: Distance-based Clustering and Analysis of BERT’s Attention

4017

Knowledge Triples

Source Entity	Relationship	Target Entity
Скрытые состояния Material	partOf	Трансформер модели Method
Механизм многоголового внимания Method	usedIn	Предварительно обученные модели Method
Задачи зондирования Task	analyzes	Механизм многоголового внимания Method
Трансформер модели Method	uses	Механизм многоголового внимания Method
Ненадзорная кластеризация Method	appliesTo	Шаблоны внимания Material