Tutoring Helps Students Learn Better: Improving Knowledge Distillation for BERT with Tutor Network

30473

Knowledge Triples

Source Entity	Relationship	Target Entity
Дистилляция знаний Method	appliesTo	Предобученные языковые модели Method
Tutor KD Method	evaluatedIn	GLUE бенчмарк Material
Tutor KD Method	improves	Дистилляция знаний Method