Dans un modèle de type Mixture of Experts, chaque token doit être envoyé vers les réseaux spécialisés les plus pertinents. Pourtant, ce choix, que le routeur assure, influence directement la qualité des réponses, l’équilibrage de la charge et le coût d’exécution de modèles comme Mixtral, DeepSeek, Qwen ou Kimi.
Les grands modèles d’intelligence artificielle n’utilisent pas nécessairement tous leurs paramètres pour traiter chaque mot. Les architectures Mixture of Experts, ou MoE, répartissent plutôt le travail entre plusieurs réseaux spécialisés.
Leur principal avantage est économique. Un modèle peut disposer de centaines de milliards de paramètres tout en n’en activant qu’une petite fraction à chaque étape. Mais cette efficacité dépend d’un mécanisme essentiel et souvent invisible : le routage des tokens vers les experts.
C’est le routeur qui choisit quels experts travaillent
Dans un modèle MoE, le routeur attribue un score à chaque expert pour chaque token. Il conserve ensuite les meilleurs candidats et combine leurs résultats.
Le nombre d’experts varie fortement selon les architectures. Mixtral utilise huit experts, tandis que DeepSeek-V4-Pro peut en compter jusqu’à 384. Un modèle n’en active généralement qu’entre un et huit par token.
Mixtral 8x7B donne ainsi accès à 47 milliards de paramètres, mais n’en utilise qu’environ 13 milliards à chaque passage. Cette activation partielle réduit le coût du calcul sans limiter le modèle à un réseau unique.
Le routage influence toutefois plus que la puissance brute. Si trop de tokens sont envoyés au même expert, celui-ci devient un goulot d’étranglement. À l’inverse, certains experts peuvent rester sous-utilisés et apprendre moins efficacement.
Sachez alors que le problème s’amplifie lorsque les experts sont répartis sur plusieurs processeurs. Chaque décision du routeur peut alors provoquer un transfert de données entre GPU ou entre serveurs.
Le Top-K reste la base des principaux modèles
La stratégie la plus répandue reste le routage Top-K avec Softmax. Chaque token évalue tous les experts, puis sélectionne ceux ayant obtenu les scores les plus élevés.
Mixtral active deux experts sur huit. GPT-OSS-120B en utilise quatre sur 128, tandis que Qwen3-235B-A22B en sélectionne huit parmi 128.
Une perte auxiliaire est souvent ajoutée pendant l’entraînement afin de mieux répartir les tokens. Cette correction améliore l’équilibre, mais elle peut aussi introduire un signal d’apprentissage qui n’est pas directement lié à la qualité du modèle.
Le Switch Transformer adopte une approche plus radicale. Chaque token n’est envoyé qu’à un seul expert. Cette méthode réduit le calcul, mais impose une capacité maximale à chaque réseau. Lorsque sa file est pleine, certains tokens contournent la couche spécialisée.
Llama 4 Maverick suit une logique proche, tout en ajoutant un expert partagé toujours actif.
Cette combinaison d’experts partagés et routés s’est largement développée. DeepSeek-V3 utilise un expert commun et 256 experts spécialisés, dont huit sont activés. Kimi K2, GLM-4.5 et Qwen3.6 reposent sur un principe comparable.
L’expert partagé prend en charge les connaissances générales. Les autres peuvent alors se concentrer sur des comportements ou domaines plus spécialisés.
Seven MoE Routing Strategies in Production A new guide explains 7 MoE routing strategies used in production models. Routers choose from 8 experts in Mixtral to 384 in DeepSeek-V4-Pro and activate 1 to 8 per token. Mixtral picks 2 of 8 experts while gpt-oss-120b picks 4 of 128 and Qwen3-235B-A22B picks 8 of 128. DeepSeek-V3 uses 1 shared and 256 routed experts and activates 8. Sigmoid scoring with aux-loss-free bias balancing is the dominant 2026 recipe for frontier open MoE models. Loss-free balancing cut MaxVio from 0.72 to 0.04 at 1B scale with lower perplexity. Expert choice routing reported more than 2x faster training convergence but leaked future tokens with a roughly 10% abnormal loss drop. DeepSeek-V4 uses hash routing in its first 3 MoE layers and SMIDT improved P99 time-to-first-token by 1.21 to 1.26x.
— Apollo (@ApollonVisual) November 8, 2026
DeepSeek impose l’équilibrage sans perte auxiliaire
En 2026, l’une des méthodes les plus importantes repose sur une porte sigmoïde et un biais d’équilibrage.
DeepSeek-V3 attribue un score à chaque expert avec une fonction sigmoïde. Un biais est ensuite ajouté uniquement au moment de choisir les meilleurs réseaux.
Après chaque étape, le système réduit le biais des experts trop sollicités et augmente celui des experts sous-utilisés. Les pondérations finales restent calculées avec les scores d’origine.
Cette séparation permet de corriger la charge sans ajouter de gradient parasite lié à une perte auxiliaire. Dans une expérience à un milliard de paramètres, l’indicateur de déséquilibre MaxVio est passé de 0,72 à 0,04, avec une perplexité plus faible.
GLM-4.5 et Kimi K2 utilisent également ce type d’équilibrage. DeepSeek-V4 remplace la notation sigmoïde par une fonction différente, mais conserve le mécanisme de biais.
DeepSeek limite aussi parfois le nombre de nœuds auxquels un token peut accéder. Dans DeepSeek-V3, les experts sont répartis en huit groupes. Le modèle en conserve quatre avant de sélectionner ses huit experts finaux.
Cette restriction réduit les communications entre machines et permet de mieux superposer le calcul et les échanges réseau.
Le choix d’experts présente un risque de fuite
Google a exploré une approche inverse appelée Expert-Choice Routing. Au lieu de laisser chaque token sélectionner ses experts, chaque expert choisit les tokens qu’il considère comme les plus pertinents.
Cette organisation garantit une charge fixe par expert et aurait permis une convergence d’entraînement plus de deux fois plus rapide.
Elle présente cependant un problème dans les modèles causaux. Le choix d’un token peut dépendre de tokens placés plus loin dans la séquence. L’expert obtient alors indirectement des informations venues du futur.
Des chercheurs de DeepSeek ont observé une baisse anormale de la perte d’environ 10 %, attribuée à cette fuite. La méthode reste donc surtout utilisée dans la recherche ou dans des contextes non causaux.
D’autres modèles réduisent encore le rôle du routeur. DeepSeek-V4 utilise, dans ses trois premières couches MoE, un routage par hachage fondé sur l’identifiant du token.
Le Top-K dynamique adapte quant à lui le nombre d’experts mobilisés selon le token. Intégré à SGLang par le système SMIDT, il aurait amélioré le temps P99 avant le premier token d’un facteur compris entre 1,21 et 1,26.
Il faut toujours examiner le routeur avant tout déploiement
La plupart des entreprises ne choisissent pas directement leur stratégie de routage. Elle est déjà intégrée au modèle sélectionné.
Avant un déploiement, les équipes doivent néanmoins vérifier le nombre total d’experts, le nombre activé par token, la présence d’experts partagés et la méthode de sélection Top-K.
Ces informations figurent généralement dans le fichier config.json du modèle. Elles permettent d’anticiper la mémoire nécessaire, le trafic entre GPU et les contraintes de parallélisme.
Modifier le nombre d’experts actifs pendant l’inférence n’est pas un simple réglage de performance. Cela change le comportement du modèle et doit être traité comme une expérimentation nécessitant des contrôles de qualité.
Le routage n’est donc pas une mécanique secondaire. Il détermine la manière dont un modèle géant transforme sa masse de paramètres en calcul réellement utilisable. Dans les architectures MoE, le meilleur modèle n’est pas seulement celui qui possède le plus d’experts, mais celui qui sait les mobiliser au bon moment, sans saturer son infrastructure.
- Partager l'article :
Restez à la pointe de l'information avec
INTELLIGENCE-ARTIFICIELLE.COM !
