MiniLMv2: Multi-Head Self-Attention Relation Distillation for Compressing Pretrained Transformers

33995

Knowledge Triples

Source Entity	Relationship	Target Entity
Қысу Task	uses	BERT Method
Қысу Task	uses	RoBERTa Material
Қысу Task	uses	XLM-R Material
MINILM Method	examines	Бөлімдерді таңдау стратегиясы Method
MINILM Method	outperforms	Өнердің қазіргі жағдайы Metric
MINILM Method	performs	Қысу Task