Pro-KD: Progressive Distillation by Following the Footsteps of the Teacher

4806

Knowledge Triples

Source Entity	Relationship	Target Entity
BERT Method	supports	Табиғи тілді түсіну Task
BERT Method	supports	Сұрақтарға жауап беру Task
Суреттерді жіктеу Task	uses	CIFAR 10 Material
Суреттерді жіктеу Task	uses	CIFAR 100 Material
Білім дистилляциясы Method	addresses	Модельді қысу Task
Табиғи тілді түсіну Task	uses	GLUE бенчмаркі Material
Прогрессивті білім дистилляциясы Method	enhances	Білім дистилляциясы Method
Прогрессивті білім дистилляциясы Method	mitigates	Сыйымдылық алшақтығы мәселесі Task
Прогрессивті білім дистилляциясы Method	mitigates	Бақылау нүктесін іздеу мәселесі Task
Сұрақтарға жауап беру Task	uses	SQuAD 1.1 Material
Сұрақтарға жауап беру Task	uses	SQuAD 2.0 Material