Kog atteint 3 000 tokens par seconde, mais avec un modèle de 2 milliards

Le 28 mai 2026, la start-up parisienne Kog a lancé une préversion technique publique de son moteur d’inférence, avec un débit revendiqué de 3 000 tokens de sortie par seconde pour une requête. Les conditions publiées par Kog précisent que le test mobilise un nœud entier de huit GPU AMD Instinct MI300X, en FP16 et avec un lot de taille 1.

La limite essentielle tient au modèle employé : Laneformer 2B est un modèle de code de 2,3 milliards de paramètres, conçu avec le moteur pour réduire la latence. Une analyse indépendante publiée le 29 mai confirme le chiffre annoncé et le périmètre de la préversion, mais elle ne constitue pas une reproduction autonome du benchmark sur un grand modèle généraliste.

Ce que les 3 000 tokens par seconde mesurent réellement

Le résultat décrit la vitesse de décodage d’une requête unique : il mesure le rythme auquel les tokens de sortie sont produits pour cet utilisateur. Il ne s’agit pas du débit cumulé d’un serveur réparti entre de nombreuses requêtes simultanées, ni du temps nécessaire pour traiter le prompt avant l’apparition du premier token.

Cette distinction explique le choix d’un lot de taille 1. Le regroupement de plusieurs requêtes améliore généralement l’utilisation du matériel et le débit total, mais chaque utilisateur peut attendre davantage. Kog privilégie ici la latence individuelle, une métrique importante pour les agents de programmation dont les opérations successives dépendent des réponses précédentes.

La préversion emploie un décodage autorégressif classique, sans décodage spéculatif, quantification, élagage, sortie anticipée ni compression du cache KV. Sur un nœud de huit Nvidia H200, le même moteur et la même catégorie de test atteignent 2 100 tokens/s selon les mesures de l’entreprise. Ces chiffres restent des résultats déclarés par Kog, et non une campagne comparative reproduite par un laboratoire indépendant.

Pourquoi le résultat appartient à toute la pile Kog

À 3 000 tokens/s, chaque token dispose d’environ 333 microsecondes pour traverser les couches du modèle, la tête de sortie et l’échantillonnage. À cette échelle, les lancements répétés de petits noyaux, les synchronisations et les échanges entre le processeur et les GPU peuvent consommer une part importante du budget de latence.

Kog rassemble donc le chemin de décodage dans un programme persistant exécuté sur les GPU. Ce monokernel limite les interruptions et donne au moteur un contrôle direct sur l’ordre d’exécution, le déplacement des poids, les communications entre accélérateurs et l’échantillonnage. Laneformer ajoute un mécanisme de parallélisme différé destiné à recouvrir une partie des communications par du calcul utile.

Le débit ne peut ainsi être attribué à un MI300X isolé. Il résulte d’une configuration complète de huit accélérateurs, de leur interconnexion, du moteur Kog, du code GPU de bas niveau et d’un modèle adapté à ce chemin d’exécution. Consacrer un nœud entier à une seule requête favorise la vitesse individuelle, mais ne renseigne pas encore sur le coût par requête ou la capacité sous forte concurrence.

Pourquoi le chiffre de 2 500 présenté par AMD ne contredit pas les 3 000

Le programme officiel de l’AI DevDay 2026 décrit une présentation de Gaël Delalleau et Augustin Verneuil consacrée à la pile Kog sur AMD Instinct. La fiche de la session chez AMD mentionne 2 500 tokens/s par requête, ainsi qu’une réarchitecture du modèle, un monokernel et des algorithmes tenant compte de la topologie matérielle.

Ce jalon de 2 500 tokens/s et le benchmark ultérieur à 3 000 ne sont pas deux mesures interchangeables. La page de l’événement ne fournit pas l’ensemble des paramètres nécessaires pour établir une comparaison stricte avec la préversion : modèle exact, version du moteur, précision, taille du lot et protocole complet. Le chiffre le plus récent est mieux documenté, mais cette différence de conditions empêche d’interpréter mécaniquement les 500 tokens/s supplémentaires comme un gain mesuré à configuration identique.

La même prudence vaut pour toute comparaison avec d’autres moteurs. Un résultat de débit agrégé obtenu avec de grands lots répond à une question différente de la vitesse d’une requête. Pour comparer deux systèmes, il faut conserver le même modèle, la même précision, un nombre comparable de GPU, une taille de lot identique et la même définition des tokens par seconde.

Le modèle de 2,3 milliards reste la principale réserve

Laneformer 2B n’est pas seulement petit : son architecture a été développée conjointement avec le moteur d’inférence. Kog peut donc modifier le modèle, l’ordonnancement et le code GPU comme les différentes parties d’un même système. Cette liberté diminue avec un modèle tiers dont les couches, l’attention et les communications sont déjà fixées.

La taille agit directement sur la quantité de poids actifs à déplacer pour produire chaque token. Un modèle dense plus grand exige davantage de bande passante mémoire. Un modèle à mélange d’experts peut n’activer qu’une fraction de ses paramètres, mais ajoute du routage et des communications que le benchmark Laneformer ne permet pas de mesurer en production.

Kog présente l’application de sa pile aux grands modèles tiers comme l’étape suivante. Les vitesses évoquées pour ces modèles reposent encore sur des plafonds de bande passante et des estimations, avec des techniques futures telles que la quantification ou la prédiction de plusieurs tokens. Elles ne doivent pas être confondues avec le résultat effectivement observé sur Laneformer.

Ce que la préversion démontre — et ce qu’elle laisse ouvert

La démonstration établit qu’une pile très spécialisée peut produire 3 000 tokens de sortie par seconde pour une seule requête sur un nœud standard de huit MI300X. Elle montre aussi que les couches logicielles, les synchronisations et les communications peuvent limiter la latence bien avant que les capacités de calcul brutes du matériel soient épuisées.

Elle ne démontre pas encore la même vitesse avec un grand modèle généraliste, plusieurs clients concurrents, un contexte long ou une offre commerciale de production. La validation décisive sera un benchmark reproductible sur un modèle tiers précisément identifié, accompagné de données sur le matériel, la précision, le lot, la longueur de contexte, la latence et le débit total. En attendant, les 3 000 tokens/s constituent un résultat technique notable, mais strictement lié à un petit modèle et à une configuration de huit GPU.

À lire aussi:

• GPT‑5.6‑Cyber s’ouvre aux défenseurs, mais exige une identité vérifiée