Guiding Attention for Self-Supervised Learning with Transformers

29642

Knowledge Triples

Source Entity	Relationship	Target Entity
Вспомогательная функция потерь Method	improves	Задачи нижнего уровня Task
Двунаправленные трансформеры Method	analyzes	Лингвистические свойства Material
Двунаправленные трансформеры Method	appliesTo	Вспомогательная функция потерь Method
Задачи нижнего уровня Task	achieves	Результаты на уровне современных достижений Metric
Самостоятельное обучение Method	uses	Двунаправленные трансформеры Method