MoEfication: Transformer Feed-forward Layers are Mixtures of Experts
32876Knowledge Triples
| Source Entity | Relationship | Target Entity |
|---|---|---|
|
Алға бағытталған желілер
Method |
usedIn |
Трансформерлер
Method |
|
MoE-вариация
Method |
creates |
Функционалдық бөліну
OtherEntity |
|
MoE-вариация
Method |
reduces |
FLOPS
Metric |