Downstream Datasets Make Surprisingly Good Pretraining Corpora

37931

Knowledge Triples

Source Entity	Relationship	Target Entity
Жалпы Түсінік Қорытындысы Material	benefitsFrom	Өзін-өзі алдын ала оқыту Method
Жіңішке баптау Method	evaluatedIn	GLUE Material
Өзін-өзі алдын ала оқыту Method	appliesTo	ELECTRA Method
Өзін-өзі алдын ала оқыту Method	appliesTo	RoBERTa Material
Өзін-өзі алдын ала оқыту Method	uses	Жіңішке баптау Method
Аралыққа Негізделген Сұрақтарға Жауап Беру Task	benefitsFrom	Өзін-өзі алдын ала оқыту Method