Parameter-Efficient Mixture-of-Experts Architecture for Pre-trained Language Models

4934

Knowledge Triples

Source Entity	Relationship	Target Entity
GPT-2 Material	evaluatedIn	Смесь Экспертов Method
Стратегия маскирования градиента Method	optimizes	Смесь Экспертов Method
Оператор произведения матриц Method	enhances	Смесь Экспертов Method
Смесь Экспертов Method	appliesTo	Языковые модели Material
Эффективность параметров Metric	measuredBy	Смесь Экспертов Method
Переключаемые трансформеры Method	comparesWith	Смесь Экспертов Method
T5 Method	evaluatedIn	Смесь Экспертов Method