How much pretraining data do language models need to learn syntax?

31980

Knowledge Triples

Source Entity	Relationship	Target Entity
RoBERTa Material	appliesTo	Идентификация Парафраз Task
RoBERTa Material	complements	Соотношение затрат и выгод OtherEntity
RoBERTa Material	evaluates	Синтаксические структурные зонды Method
RoBERTa Material	trainedOn	Данные для предварительного обучения Material
Синтаксические структурные зонды Method	assesses	RoBERTa Material