Bonsai 27B permet de charger un modèle de 27 milliards de paramètres dans seulement 4,4 Go, assez pour une carte graphique de 8 Go. Basé sur Qwen 3.6 27B et compressé à environ 1,125 bit par poids, il conserve de bonnes capacités en logique et en suivi d’instructions, mais recule sur les outils, la vision et certains usages de programmation.
Pour les amateurs d’intelligence artificielle locale, disposer de 8 Go de mémoire vidéo impose généralement un choix. Il faut se limiter à des modèles compacts ou accepter un ralentissement important lorsque les données débordent vers la mémoire vive.
Bonsai 27B tente de dépasser cette contrainte par une compression particulièrement agressive. Le modèle conserve l’architecture d’un système de 27 milliards de paramètres, tout en occupant moins d’espace que certains modèles deux fois plus petits.
Un modèle 27B réduit à seulement 4,4 Go
Bonsai 27B est développé par PrismML, une start-up issue de recherches menées à Caltech. Il repose sur Qwen 3.6 27B, mais modifie profondément la manière dont ses poids sont stockés.
En pleine précision, un modèle de cette taille peut dépasser 50 Go. Une quantification classique en 4 bits reste également trop lourde pour une carte graphique limitée à 8 Go.
PrismML descend beaucoup plus bas. Dans la version binaire, chaque poids ne peut prendre que deux valeurs, +1 ou -1. Une valeur d’échelle commune est ensuite appliquée à chaque groupe de 128 poids.
Cette méthode ramène le stockage à environ 1,125 bit par paramètre. La version 1 bit de base pèse ainsi moins de 4 Go. Le fichier testé dans LM Studio atteint 4,4 Go en incluant les composants liés à la vision.
Bonsai devient alors plus léger que certaines versions quantifiées de Gemma 4 12B, malgré un nombre de paramètres bien supérieur.
Une seconde génération, appelée Bonsai 2, utilise une représentation ternaire. Elle ajoute zéro aux valeurs possibles. Cette version n’était toutefois pas encore compatible avec certains logiciels, dont LM Studio, lors du test.
Une fenêtre de contexte immense, mais difficile à exploiter entièrement
Le modèle conserve la fenêtre contextuelle de 262 000 tokens proposée par Qwen 3.6. Sur le papier, cette capacité permet de traiter de très longs documents ou des conversations particulièrement étendues.
La mémoire nécessaire ne dépend cependant pas uniquement du poids initial du modèle. Le système doit aussi conserver un cache contenant les informations utiles à la génération.
Même avec un cache compressé, utiliser la totalité des 262 000 tokens demanderait environ 10 Go de mémoire. Une carte de 8 Go ne peut donc pas réellement exploiter toute cette capacité.
Today, we’re announcing Bonsai 27B: the first 27B-class model to run on a phone. Bonsai 27B is the new multimodal flagship of the Bonsai family. Based on Qwen3.6 27B, it brings a new capability tier to local AI: multi-step reasoning, structured tool use, long-context workflows, and coherent agentic loops. Until now, models in this class have been impractical to deploy locally. A 27B model occupies roughly 54 GB in 16-bit precision, and even a strong 4-bit build is around 18GB – too large for a phone and for most laptops. Bonsai 27B changes that. It comes in two variants: • Ternary Bonsai 27B: 5.9 GB, 1.71 effective bits per weight, optimized for laptop-class quality. • 1-bit Bonsai 27B: 3.9 GB, 1.125 effective bits per weight, optimized for phone-class footprint. Everything is open-sourced today under the Apache 2.0 license.
— PrismML (@PrismML) July 14, 2026
Dans la configuration testée, la plage utilisable se situerait plutôt entre 30 000 et 50 000 tokens. Il faut aussi conserver une marge pour le système et les autres logiciels ouverts.
Ce niveau reste confortable pour de nombreux usages. Il permet notamment d’analyser des documents volumineux sans les découper systématiquement en plusieurs parties.
La vitesse constitue un autre compromis. Bonsai a produit environ 27 tokens par seconde lors d’un test de génération. Gemma 4 E4B atteignait 35 tokens par seconde avec les mêmes réglages.
L’écart reste acceptable pour une conversation classique. Il devient plus visible lors de longues générations ou d’analyses répétées.
La logique et le suivi des consignes résistent bien à la compression
La forte réduction de précision ne détruit pas toutes les capacités du modèle. Bonsai se montre particulièrement convaincant en mathématiques et en logique.
Selon les évaluations de PrismML, il obtient un score de 91,7 en mathématiques, contre 95,3 pour Qwen dans sa version complète. La baisse existe, mais reste relativement contenue.
The footprint reduction does not come at the expense of the capabilities that matter. Across 15 benchmarks spanning knowledge, reasoning, math, coding, instruction following, tool use, and vision, Ternary Bonsai 27B retains 95% of the full-precision model’s performance. The 1-bit variant retains 90%. Math and coding remain especially strong, while tool-calling performance stays close to full precision.
— PrismML (@PrismML) July 14, 2026
Lors d’un problème comparant plusieurs options d’achat d’ordinateurs portables, le modèle a examiné les différentes combinaisons avant de sélectionner la moins chère. Ce type de raisonnement peut se dégrader rapidement sur des modèles fortement compressés.
Bonsai s’est aussi montré efficace dans l’analyse de documents longs. Il a produit des résumés clairs et des listes concises, sans exiger un découpage préalable des fichiers.
Le respect des instructions constitue un autre point fort. Confronté à une description de produit accompagnée de cinq règles imbriquées, le modèle a suivi toutes les contraintes. Il a notamment évité les mots interdits et utilisé la devise demandée.
Ces résultats suggèrent que la compression préserve une partie importante des capacités générales de Qwen. Le modèle peut donc convenir à la rédaction, à la synthèse et à certains problèmes structurés.
Les chiffres cités proviennent toutefois principalement de PrismML et d’un test réalisé par un seul utilisateur. Ils ne remplacent pas une comparaison indépendante menée sur plusieurs configurations.
Les outils, la vision et le code montrent les limites du 1 bit
Les pertes deviennent plus visibles lorsque le modèle doit utiliser des outils. Bonsai obtient un score de 66 sur les tâches agentiques, contre 80 pour Qwen en pleine précision.
Il s’agit de la baisse la plus importante parmi les catégories communiquées. Pour un assistant devant appeler des fonctions, manipuler des applications ou enchaîner plusieurs actions, un modèle plus petit mais moins compressé peut rester préférable.
Le testeur recommande notamment Qwen 3.5 9B pour ces usages. Qwen 3.6-35B-A3B constitue une autre option lorsque le matériel le permet.
La vision représente également un point faible. Sur une capture d’écran d’une application de conception, Bonsai a correctement extrait des dimensions et des codes hexadécimaux.
Il a néanmoins répété certains éléments trois fois. Plusieurs noms ont aussi été confondus avec des paramètres. Pour l’analyse d’images, Gemma 4 reste donc plus fiable dans cette expérience.
Les performances en programmation sont plus nuancées. PrismML annonce 89,6 sur HumanEval+, contre 95,1 pour le modèle complet.
Dans la pratique, un script de surveillance de dossiers semblait terminé, mais contenait une erreur importante. Il ne mémorisait pas les fichiers déjà traités et risquait de relire continuellement tout le dossier, y compris son propre index.
Bonsai 27B ne remplace donc pas automatiquement Qwen ou Gemma dans tous les scénarios. Son intérêt tient plutôt à son compromis inédit : faire entrer un modèle 27B sur un GPU de 8 Go, sans perdre toutes les qualités attendues d’un système de cette taille.
Cette avancée montre surtout que le nombre de paramètres ne suffit plus à déterminer les besoins matériels. Les méthodes de compression deviennent aussi importantes que l’architecture elle-même. Pour l’IA locale, les prochains progrès pourraient ainsi venir moins de cartes graphiques plus puissantes que de modèles capables d’utiliser chaque bit plus efficacement.
- Partager l'article :
Restez à la pointe de l'information avec
INTELLIGENCE-ARTIFICIELLE.COM !
