Lifelong Pretraining: Continually Adapting Language Models to Emerging Corpora

21059

Knowledge Triples

Source Entity	Relationship	Target Entity
Алгоритмы непрерывного обучения Method	affects	ПроизводительностьНижестоящейЗадачи Metric
Алгоритмы непрерывного обучения Method	enhances	Темпоральная обобщаемость Metric
Алгоритмы непрерывного обучения Method	includes	Подходы на основе дистилляции Method
Подходы на основе дистилляции Method	improves	ПроизводительностьНижестоящейЗадачи Metric
Долговременное предобучение языковых моделей Task	uses	Алгоритмы непрерывного обучения Method
Предобученные языковые модели Method	addresses	Долговременное предобучение языковых моделей Task