Repulsive Attention: Rethinking Multi-head Attention as Bayesian Inference

31267

Knowledge Triples

Source Entity	Relationship	Target Entity
Многоголовое внимание Method	extends	Механизм нейронного внимания Method
Многоголовое внимание Method	leadsTo	Информативные представления Metric
Многоголовое внимание Method	suffersFrom	Коллапс внимания OtherEntity
Оптимизация частиц Method	isBasedOn	Отталкивающее внимание Method
Отталкивающее внимание Method	enhances	Информативные представления Metric
Отталкивающее внимание Method	improves	Разнообразие признаков Metric