When Do You Need Billions of Words of Pretraining Data?

8788

Knowledge Triples

Source Entity	Relationship	Target Entity
Тонкая настройка Method	improves	Задачи NLU Task
Информационно-теоретическое зондирование Task	evaluates	Задачи NLU Task
MiniBERTas Material	isA	RoBERTa Material
RoBERTa Material	isA	Языковая модель Material
RoBERTa Material	uses	Трансформер Method
Несупервизированное зондирование знаний языковой модели Task	evaluates	Задачи NLU Task
Несупервизированные относительные оценки приемлемости Task	evaluates	Задачи NLU Task