Sci-Fi Labs · Field notes
Bonsai: the 27B Model That Fits in 16 GB
A 27B model answers on this 16 GB laptop. That model is Bonsai. Memory you own, models you run.
A 27B model is answering on this 16 GB laptop. Not a demo tab. Not a remote API. The weights are on disk. The reply streams here.
That model is Bonsai. Open-weight builds from PrismML. Full-precision 27B wants on the order of 54 GB just for weights. Ordinary quant lands in the mid-teens. Neither leaves room for a browser, an editor, and a spatial canvas. Bonsai is the path that fits.
What Bonsai is
Bonsai uses end-to-end 1-bit ({−1, +1}) or ternary ({−1, 0, +1}) weights across embeddings, attention, MLPs, and the LM head. Same architecture class. Roughly 14× smaller than FP16.
The flagship Bonsai 27B is based on Qwen3.6 27B. Multi-step reasoning, tool calling, vision input, 262K-token context. A footprint a consumer laptop can hold:
| Variant | Weights | Best for |
|---|---|---|
| 1-bit Bonsai 27B | ~3.9 GB | Tight memory, phones, lean laptops |
| Ternary Bonsai 27B | ~5.9 GB | Everyday laptops, higher quality retention |
PrismML reports the ternary build retaining roughly 95% of the full-precision baseline across their suite, and the 1-bit build around 90%. Both ship under Apache 2.0. Useful for real agent loops. Not a toy.
Weights vs a 16 GB machine
16 GB is the machine most people actually have. FP16 and ordinary quant do not leave a desk.
Why a 16 GB laptop suddenly works
On this M2 Pro the budget is unforgiving. Right now, writing with everything open: 12.6 GB spoken for, 2.7 GB free. Bonsai has the weights. Brave and VS Code are the real tax. There is no spare room for a second large model.
| Process | RAM | Notes |
|---|---|---|
| Bonsai-27B (llama-server) | ~4 GB | Metal GPU; live footprint beside the rest of the desk |
| Brave Browser | 3.6 GB | The real memory tax |
| VS Code | 3.3 GB | Editor open while the model answers |
| System (wired + active + compressed) | 12.6 GB | 2.7 GB available |
Live 16 GB budget
Same live snapshot as the TTS field notes. A conventional 27B never starts here.
That is the difference between “local AI” as a slide and local AI as something you open every day.
How it fits Knowledge Graph
Knowledge Graph is a private spatial canvas: photos, conversations, and time on a machine you own. The model under it is not a brochure claim. It is a running stack.
Right now: llama.cpp (PrismML fork) serves Bonsai. Open WebUI is the temporary conversation surface. Whisper hears. Kokoro JS speaks in the browser. Next swap is not another engine. It is the Knowledge Graph UI already built. Same models. Canvas instead of chat bubbles.
Published sites are demos. The product is the copy on your machine. Offline is the proof. Memory you own, models you run.
Getting started
- PrismML: company and product home
- Announcing Bonsai 27B: launch post and rationale
- Bonsai documentation: lineup, formats, and how to run
- Bonsai 27B model page: specs and artifacts
- prism-ml on Hugging Face: GGUF and MLX weights
Bonsai е локалният модел път, който държи Knowledge Graph честен: разсъждение, което се побира в паметта на машина, която притежаваш, без да наемаш frontier API за всеки ход. 1-bit квантизацията на PrismML прави разсъждение от клас 27B практично на 16GB лаптоп.
Пълнопрецизен 27B модел иска от порядъка на 54 GB само за тегла. Дори агресивни конвенционални квантизации кацат в средата на тийнейджърските гигабайти — твърде много за типична 16 GB машина, след като OS, пространственият UI, embeddings и KV cache вземат своя дял. Без различен подход локален 27B-клас интелект на потребителски хардуер е невъзможен старт.
Какво е Bonsai
Bonsai е семейство open-weight модели от PrismML. Вместо 16-bit тегла, Bonsai моделите ползват end-to-end 1-bit ({−1, +1}) или ternary ({−1, 0, +1}) тегла през embeddings, attention, MLPs и LM head. Практическият резултат е 14× намаление спрямо FP16 за същия архитектурен клас.
Флагманът Bonsai 27B е базиран на Qwen3.6 27B. Запазва multi-step reasoning, tool calling, vision input и 262K-token контекст — докато се побира там, където full-precision моделите не могат:
| Вариант | Тегла | Най-добро за |
|---|---|---|
| 1-bit Bonsai 27B | ~3.9 GB | Стеснена памет, телефони, леки лаптопи |
| Ternary Bonsai 27B | ~5.9 GB | Ежедневни лаптопи, по-високо запазване на качество |
PrismML докладва, че ternary билдът запазва около 95% от full-precision базовата линия в техния benchmark suite, а 1-bit — около 90% — достатъчно, за да остане полезен за реални agentic цикли, не само toy демота. И двата са под Apache 2.0.
Защо лаптоп с 16GB изведнъж работи
На 16 GB машина бюджетът е безмилостен. OS и браузърът (или native shell) вече вземат няколко гигабайта. Knowledge Graph също се нуждае от място за:
- Пространственото платно и Three.js сцената
- Локални embeddings и retrieval върху графа
- KV cache, докато разговорите и time-layered контекстът растат
- Опционални vision и voice pipeline-и
Конвенционален 27B билд изчерпва този бюджет, преди приложението да има шанс да диша. ~4–6 GB отпечатъкът на Bonsai оставя място. Моделът се зарежда. Графът остава responsive. Заявките и tool calls остават on-device.
Това е разликата между „local AI“ като маркетинг и local AI като нещо, което реално можеш да отваряш всеки ден.
Как се вписва в Knowledge Graph
Knowledge Graph не е чат прозорец с модел зад него. Той е пространствен интерфейс: време като измерение, плаващи бележки и снимки, глас навътре и навън, всичко локално. Моделът е тихият двигател под тази повърхност — разсъждава върху графа, отговаря в контекст, никога не изпраща частна памет към remote endpoint.
Bonsai прави тази архитектура честна на хардуер, който хората вече притежават. Не е нужен cloud fallback за core loop-а. Суверенитетът спира да е слоган и става зареждаем binary.
Как да започнеш
- PrismML — компания и продуктов дом
- Announcing Bonsai 27B — launch пост и рационал
- Bonsai documentation — линия, формати и как да се пуска
- Bonsai 27B model page — спецификации и артефакти
- prism-ml on Hugging Face — GGUF и MLX тегла
Bonsai es el camino de modelos locales que mantiene honesto a Knowledge Graph: razonamiento que cabe en la memoria de una máquina que posees, sin alquilar una API frontier en cada turno. La cuantización 1-bit de PrismML hace práctico el razonamiento de clase 27B en un portátil de 16GB.
Un modelo 27B a precisión completa quiere del orden de 54 GB solo en pesos. Incluso cuantizaciones convencionales agresivas siguen cayendo en la franja media de los teens de gigabytes — demasiado para una máquina típica de 16 GB una vez que el SO, la UI espacial, los embeddings y el KV cache toman su parte. Sin un enfoque distinto, la inteligencia de clase 27B local en hardware de consumo no arranca.
Qué es Bonsai
Bonsai es una familia de modelos open-weight de PrismML. En lugar de pesos de 16 bits, los modelos Bonsai usan pesos end-to-end 1-bit ({−1, +1}) o ternary ({−1, 0, +1}) en embeddings, attention, MLPs y la cabeza LM. El resultado práctico es una reducción 14× frente a FP16 para la misma clase de arquitectura.
El buque insignia Bonsai 27B se basa en Qwen3.6 27B. Conserva razonamiento multi-paso, tool calling, entrada de visión y contexto de 262K tokens — mientras cabe donde los modelos a precisión completa no pueden:
| Variante | Pesos | Mejor para |
|---|---|---|
| 1-bit Bonsai 27B | ~3.9 GB | Memoria justa, teléfonos, portátiles ligeros |
| Ternary Bonsai 27B | ~5.9 GB | Portátiles de uso diario, mayor retención de calidad |
PrismML reporta que el build ternary retiene aproximadamente el 95% de la línea base a precisión completa en su suite de benchmarks, y el build 1-bit alrededor del 90% — suficiente para seguir siendo útil en bucles agénticos reales, no solo demos de juguete. Ambos se publican bajo Apache 2.0.
Por qué un portátil de 16GB de repente funciona
En una máquina de 16 GB el presupuesto no perdona. El SO y el navegador (o shell nativo) ya reclaman varios gigabytes. Knowledge Graph también necesita espacio para:
- El lienzo espacial y la escena Three.js
- Embeddings locales y retrieval sobre el grafo
- KV cache a medida que crecen las conversaciones y el contexto en capas de tiempo
- Pipelines opcionales de visión y voz
Un build 27B convencional agota ese presupuesto antes de que la app tenga chance de respirar. La huella de pesos de ~4–6 GB de Bonsai deja margen. El modelo carga. El grafo se mantiene responsive. Las consultas y tool calls se quedan on-device.
Esa es la diferencia entre “local AI” como marketing y local AI como algo que puedes abrir de verdad cada día.
Cómo encaja en Knowledge Graph
Knowledge Graph no es una ventana de chat con un modelo detrás. Es una interfaz espacial: el tiempo como dimensión, notas y fotos flotantes, voz de entrada y salida, todo en local. El modelo es el motor silencioso bajo esa superficie — razona sobre el grafo, responde en contexto, nunca envía memoria privada a un endpoint remoto.
Bonsai hace esa arquitectura honesta en hardware que la gente ya posee. No hace falta fallback a la nube para el bucle central. La soberanía deja de ser un eslogan y se convierte en un binario cargable.
Cómo empezar
- PrismML — empresa y hogar del producto
- Announcing Bonsai 27B — post de lanzamiento y racional
- Bonsai documentation — línea, formatos y cómo ejecutarlo
- Bonsai 27B model page — specs y artefactos
- prism-ml on Hugging Face — pesos GGUF y MLX
Bonsai ist der lokale Modellweg, der Knowledge Graph ehrlich hält: Reasoning, das in den Speicher einer Maschine passt, die dir gehört — ohne für jeden Turn eine Frontier-API zu mieten. PrismMLs 1-Bit-Quantisierung macht 27B-Klasse-Reasoning auf einem 16GB-Laptop praktikabel.
Ein Full-Precision-27B-Modell will in der Größenordnung von 54 GB nur für Gewichte. Selbst aggressive konventionelle Quantisierungen landen noch im mittleren Teen-Bereich der Gigabytes — zu groß für eine typische 16 GB-Maschine, sobald OS, räumliche UI, Embeddings und KV-Cache ihren Anteil nehmen. Ohne einen anderen Ansatz ist lokale 27B-Klassen-Intelligenz auf Consumer-Hardware ein Non-Starter.
Was Bonsai ist
Bonsai ist eine Familie open-weight Modelle von PrismML. Statt 16-Bit-Gewichten nutzen Bonsai-Modelle End-to-End 1-Bit ({−1, +1}) oder ternäre ({−1, 0, +1}) Gewichte über Embeddings, Attention, MLPs und den LM-Head. Das praktische Ergebnis ist eine 14×-Reduktion gegenüber FP16 für dieselbe Architekturklasse.
Das Flaggschiff Bonsai 27B basiert auf Qwen3.6 27B. Es behält Multi-Step-Reasoning, Tool Calling, Vision-Input und 262K-Token-Kontext — und passt trotzdem dorthin, wo Full-Precision-Modelle nicht passen:
| Variante | Gewichte | Am besten für |
|---|---|---|
| 1-Bit Bonsai 27B | ~3.9 GB | Knappes Memory, Phones, schlanke Laptops |
| Ternäres Bonsai 27B | ~5.9 GB | Alltags-Laptops, höhere Qualitätsretention |
PrismML berichtet, dass der ternäre Build rund 95% der Full-Precision-Baseline über ihre Benchmark-Suite hält und der 1-Bit-Build etwa 90% — genug, um für echte agentische Loops nützlich zu bleiben, nicht nur für Toy-Demos. Beide unter Apache 2.0.
Warum ein 16-GB-Laptop plötzlich funktioniert
Auf einer 16 GB-Maschine ist das Budget unerbittlich. OS und Browser (oder native Shell) beanspruchen bereits mehrere Gigabytes. Knowledge Graph braucht außerdem Platz für:
- Die räumliche Canvas und Three.js-Szene
- Lokale Embeddings und Retrieval über den Graph
- KV-Cache, wenn Gespräche und zeitgeschichteter Kontext wachsen
- Optionale Vision- und Voice-Pipelines
Ein konventioneller 27B-Build erschöpft dieses Budget, bevor die App atmen kann. Bonsais ~4–6 GB Gewicht-Fußabdruck lässt Spielraum. Das Modell lädt. Der Graph bleibt responsive. Queries und Tool Calls bleiben on-device.
Das ist der Unterschied zwischen „local AI“ als Marketing und local AI als etwas, das du wirklich jeden Tag öffnen kannst.
Wie es zu Knowledge Graph passt
Knowledge Graph ist kein Chatfenster mit einem Modell dahinter. Es ist eine räumliche Oberfläche: Zeit als Dimension, schwebende Notizen und Fotos, Stimme rein und raus, alles lokal. Das Modell ist der leise Motor unter dieser Oberfläche — reasoning über den Graph, Antworten im Kontext, private Erinnerung nie an einen Remote-Endpoint.
Bonsai macht diese Architektur ehrlich auf Hardware, die Menschen schon besitzen. Kein Cloud-Fallback nötig für den Core-Loop. Souveränität hört auf, Slogan zu sein, und wird ein ladbares Binary.
Einstieg
- PrismML — Firma und Produkt-Home
- Announcing Bonsai 27B — Launch-Post und Rationale
- Bonsai documentation — Lineup, Formate und wie man es startet
- Bonsai 27B model page — Specs und Artifacts
- prism-ml on Hugging Face — GGUF- und MLX-Gewichte