Softmax Bottleneck Makes Language Models Unable to Represent Multi-mode Word Distributions

37137

Back to Articles Dashboard

Knowledge Triples

Source Entity	Relationship	Target Entity
GPT-2 Material	uses	Жасырын күй OtherEntity
GPT-2 Material	uses	Софтмакс Method
Софтмакс қоспасы Method	inspiredBy	Көп қырлы Софтмакс Method
Көп қырлы Софтмакс Method	improves	Перплексия Metric
Софтмакс Method	improves	Софтмакс қоспасы Method