ETC: Encoding Long and Structured Inputs in Transformers

31271

Knowledge Triples

Source Entity	Relationship	Target Entity
Расширенная конструкция трансформера Method	addresses	Длинные и структурированные входные данные Task
Расширенная конструкция трансформера Method	combinesWith	Контрастивное предсказательное кодирование Method
Расширенная конструкция трансформера Method	combinesWith	Относительные позиционные кодировки Method
Расширенная конструкция трансформера Method	introduces	Глобальное местное внимание Method