Ce que coûte vraiment un mélange d’experts.

La version courte

Un mélange d’experts découpe la partie feed-forward de chaque couche en de nombreux petits réseaux, et n’envoie chaque token qu’à travers quelques-uns d’entre eux. Le nom publié consigne ces deux faits : le nombre total de paramètres, et le nombre de paramètres actifs pour un token donné. Vous devez garder la totalité du premier en mémoire, et vous ne lisez que le second par token. Cette seule phrase résume tout le guide, et l’inverser est l’erreur la plus coûteuse que nous voyons les gens commettre avant de passer commande.

La conséquence est un modèle au profil de coût étrange : il se loue comme un géant et tourne comme un modèle de taille moyenne. Que ce soit une bonne affaire ou un piège dépend entièrement de celui des deux nombres qui constitue votre goulot d’étranglement.

Le calcul ci-dessous est exactement celui qu’exécute le configurateur, sur le même catalogue. Si vous n’avez pas encore déterminé de combien de mémoire un modèle a besoin en général, cette formule vient d’abord — cette page couvre ce qui change une fois que le modèle est un mélange d’experts.

Lire le nom

Trois conventions de nommage circulent, et elles encodent toutes la même paire de nombres, ce qui explique que la confusion persiste. Une fois que vous savez les lire, la question du dimensionnement se résout d’elle-même.

La dernière colonne est celle qu’il faut retenir. Un modèle dense lit tout ce qu’il stocke ; un mélange d’experts n’en lit qu’une tranche. Tout ce que ces modèles ont d’étrange — en bien comme en mal — découle de cette seule ligne.

La mémoire que vous louez réellement

Voici tout le piège en un seul tableau. La colonne du milieu indique ce dont le modèle a besoin sur la machine ; la colonne suivante indique ce qu’aurait budgété un lecteur ayant pris le nombre de paramètres actifs au pied de la lettre. La dernière colonne est la facture de cette erreur de lecture.

Lisez la dernière colonne comme une erreur d’achat. Quelqu’un qui dimensionne uniquement sur le nombre de paramètres actifs partirait à la recherche d’une seule carte pour finalement avoir besoin d’un nœud entier — pas une machine un peu plus grande, mais une catégorie de machine différente, à un prix différent.

Ce que procurent les paramètres actifs

La génération est limitée par la bande passante mémoire : chaque nouveau token exige de relire les poids qui y participent. Un mélange d’experts ne lit que sa tranche active, si bien que le plafond de sa vitesse est fixé par un nombre bien plus petit que sa taille ne le laisse penser. Cette partie de la promesse est bien réelle, et c’est précisément la raison d’être de ces modèles.

Le tableau ci-dessous place chaque modèle sur la même machine — 8 × NVIDIA A100 PCIe à $7,906 par mois, le nœud le moins cher de notre catalogue qui les tient tous à la fois. Comparer des chiffres de débit relevés sur des machines différentes ne compare rien du tout.

Les deux lignes qui méritent d’être comparées sont le plus grand mélange d’experts et le plus grand modèle dense, car tous deux sont répartis sur l’ensemble du nœud. Le mélange est de loin le plus gros modèle des deux et il génère malgré tout plus vite, puisqu’il ne lit qu’une fraction de lui-même par token — c’est précisément l’arbitrage que cette architecture existe pour faire. Lisez différemment les lignes marquées sur une carte : ces modèles occupent une seule carte du nœud et en laissent sept autres libres, ce qui est une machine moins chère qui attend d’être choisie, pas une machine plus lente.

La deuxième chose que le calcul dissimule, c’est qu’un mélange d’experts est plus difficile à bien répartir entre cartes. Un modèle dense réparti sur plusieurs cartes se synchronise une fois par couche ; un mélange doit en plus router les tokens vers la carte qui détient l’expert choisi, ce qui donne un profil de trafic différent et moins prévisible. C’est l’un des rares usages où l’interconnexion justifie vraiment son prix plutôt que de simplement apparaître sur la facture.

La moitié qui devient moins chère

Jusqu’ici, tout était mauvais pour les gros modèles. Voici la compensation, et elle est de taille — presque aucune comparaison ne la mentionne : les modèles qui comptent le plus de paramètres sur cette page ont le plus petit cache clef/valeur par token. Le cache est déterminé par la conception de l’attention — couches, têtes clef/valeur, dimension des têtes — et n’a rien à voir avec le nombre d’experts placés derrière l’attention.

Ces colonnes s’entendent par requête simultanée. Multipliez par le nombre de personnes qui utilisent le point de terminaison en même temps, et le classement de la dernière colonne détermine votre machine bien plus que les poids.

En pratique : les poids sont un droit d’entrée fixe, le cache est le coût d’exploitation. Un mélange d’experts facture un droit d’entrée énorme, puis un faible coût d’exploitation par utilisateur. Un modèle dense de capacité comparable fonctionne à l’inverse. Lequel des deux vous revient moins cher se décide sur la simultanéité et la longueur de contexte, pas sur le nombre de paramètres indiqué sur la fiche du modèle.

Quelles machines les tiennent

En 4 bits, avec le contexte de référence, et en retenant le nœud le moins cher de notre catalogue qui tient chaque modèle — que ce soit sur une seule carte ou réparti sur le nœud. Ce sont des tickets d’entrée, pas des recommandations ; la section suivante explique pourquoi.

Chacun d’entre eux est un nœud multi-cartes, et c’est le message honnête de cette page : rien dans notre catalogue ne tient l’un de ces modèles sur une seule carte, aussi petit que son nombre de paramètres actifs le fasse paraître. Le catalogue complet contient le reste des configurations, et le configurateur effectuera cette même vérification sur votre propre modèle et contexte.

Le nœud le moins cher n’est pas le bon

Tenir en mémoire est un seuil, pas un objectif. Une fois qu’un modèle est réparti sur un nœud, le débit dépend de la bande passante mémoire des cartes sur lesquelles il est réparti — et la bande passante par dollar varie de plus d’un facteur deux entre des configurations qui franchissent toutes la même barre de mémoire. Voici DeepSeek V3 671B-A37B (MoE) sur chaque nœud qui le tient, classé par prix, avec la seule colonne qui compte, à droite.

La cellule verte offre le meilleur rapport qualité-prix de la liste, et ce n’est pas la ligne la moins chère. Passer de $7,906 à $11,790 multiplie la facture par 1.5× et le débit par 2.8× — vous payez plus, et chaque token vous coûte moins cher. Trier un catalogue par prix et prendre la première machine qui tient, c’est le moyen de dépenser deux fois son budget de service.

Une réserve sur cette colonne, et elle s’applique à tout tableau prix/débit que vous lirez : elle utilise la génération en flux unique. Sous traitement par lots continu, l’agrégat grimpe plusieurs fois plus haut sur chaque ligne, et pas dans les mêmes proportions selon les lignes — un nœud disposant de plus de mémoire disponible après les poids tient davantage de séquences simultanées. Le classement est stable ; les chiffres absolus sont prudents. L’économie de cet agrégat est développée séparément.

Quand un mélange d’experts est la bonne réponse

Dans l’ordre. Arrêtez-vous à la première ligne qui vous correspond.

1. Un modèle dense qui tient sur une seule carte fait l’affaire. Alors prenez-le, et n’y revenez plus. Une seule carte, c’est : aucune répartition entre cartes, aucune question d’interconnexion, aucun trafic de routage vers les experts, et une machine qui coûte une fraction d’un nœud. La plupart des produits qui pensent avoir besoin d’un modèle ouvert de pointe ont seulement besoin d’un bon 32B.
2. Vous avez besoin de la qualité et votre contexte est long. C’est là qu’un mélange d’experts est vraiment le meilleur instrument disponible : vous payez les poids une seule fois, et le petit cache permet à la machine de continuer à servir de longues conversations sans tomber en panne. Dimensionnez le nœud sur les poids, puis vérifiez le tableau des caches pour votre contexte réel.
3. Vous avez besoin de la qualité et vous servez beaucoup de monde à la fois. Même réponse, même raison, et l’avantage grandit avec la simultanéité. Le coût fixe est amorti sur chaque flux, tandis que le coût par flux reste faible.
4. Vous avez besoin de la qualité, mais seulement occasionnellement. Vous louez alors un grand nœud pour le garder chaud quelques heures par semaine, ce qui est le pire usage possible d’une durée d’engagement mensuelle. Regroupez le travail pour qu’il s’exécute en une seule fois, ou utilisez un point de terminaison hébergé pour ce cas précis et gardez votre propre machine pour la charge constante.
5. Vous voulez en affiner un. Problème différent, machine plus grande : l’entraînement sollicite chaque expert et nécessite un état d’optimiseur pour chacun d’eux, si bien que la mémoire déjà pénible pour l’inférence devient prohibitive. Le fine-tuning par adaptateur sur un modèle dense est la solution réaliste pour presque tout le monde.

Quelle que soit la ligne où vous vous êtes arrêté, le premier nombre à vérifier est le nombre total de paramètres, dans la précision que vous comptez servir. Tout le reste sur cette page — la vitesse, le cache, le prix par token par seconde — ne devient pertinent qu’une fois le modèle résident en mémoire. Le configurateur effectue toute la vérification sur chaque nœud que nous louons, et il applique à l’estimation de débit la même correction de routage que les tableaux ci-dessus. Si vous préférez d’abord voir le calcul de mémoire dans son intégralité, cela fait l’objet d’un guide à part ; si vous n’avez pas encore choisi de format numérique, ce choix vient avant celui-ci.