In juni schreef ik hier dat er geen soeverein model op de plank ligt dat je even uit de kast trekt. Sinds 28 september ligt er een Nederlands taalmodel dat je gratis downloadt en op je eigen server of laptop draait. Het heet Walnoot en we hebben het in bijna drie maanden zelf gebouwd bij WAINUT, met eigen geld en zonder investeerder of opdrachtgever. Het model is klein en bewust afgebakend. Ik ben er trots op, al ging er onderweg genoeg mis, zoals een model dat slechter werd van extra training en een Europese supercomputer waar we bijna een maand op wachtten.
Een brief die het gebouw niet uit mag
Bij gemeenten en bedrijven waar we met WAINUT werken, komt geregeld een brief binnen met persoonsgegevens. Iemand moet die gegevens overtypen in een systeem en de brief mag de eigen omgeving niet uit. Dus blijft het handwerk, bij iemand die het al druk genoeg heeft.
In juni ging het sterkste publieke model van Anthropic voor iedereen op zwart, nadat de Amerikaanse overheid buitenlanders de toegang had ontzegd. Daarna vroegen gemeenten ons steeds vaker om AI in eigen hand. In bijna elk van die gesprekken viel de naam GPT-NL, het Nederlandse taalmodel dat onder meer TNO ontwikkelt en waar veel organisaties op wachten.
Wij vonden daar iets van. Dan kun je erover blijven praten of zelf iets proberen te bouwen. Het plan was om ons een weekend op te sluiten. Het weekend werd een week en na ongeveer een maand draaide de eerste versie.
Een Zwitserse motor met brandstof van GPT-NL
Denk aan de Formule 1. GPT-NL bouwt zoals Mercedes, met een eigen motor en eigen brandstof via licentieafspraken met datapartners. Die partners hadden wij niet, dus deden we wat kleinere F1-teams doen en bouwden we op de motor van een ander.
Die motor is Apertus, een basismodel van het Swiss AI Initiative van de Zwitserse universiteiten ETH Zürich en EPFL. Een basismodel heeft enorme hoeveelheden tekst gelezen en kan zinnen afmaken. Stel je het een vraag, dan gedraagt het zich als de dronken oom op een verjaardag, die overal iets van weet en je een warrig antwoord geeft.
De brandstof komt van GPT-NL zelf. Dat team heeft een groot corpus met Nederlandse teksten vrijgegeven dat iedereen mag gebruiken, met onder meer rechtspraak, officiële bekendmakingen en Kamerstukken. Dat hebben ze heel goed gedaan. Wij kozen daaruit de bruikbare delen en lieten bijvoorbeeld de krantenarchieven weg, omdat gescande oude krantenpagina's vol ruis en verouderde spelling zitten.
Aan de afstelling werkten we in drie stappen. Eerst trainden we Apertus door op zo'n vier miljard tokens (woorddelen), voor 70 procent Nederlands, 20 procent Engels en 10 procent code, zodat het model zijn Engels en programmeerkennis niet kwijtraakte. Daarna leerden we het met 51.875 voorbeelden hoe een vraag en een goed antwoord eruitzien, waardoor de oom een assistent werd die gestructureerd antwoordt. Tot slot lieten we eerdere versies van het model tienduizenden antwoorden geven, hielden we de 1.157 over die door de controle kwamen en trainden we daar nog één ronde op.
Aanvankelijk trainden we door tot acht miljard tokens, want meer Nederlands leek beter. Bij de metingen bleek het model daardoor slechter te worden in het herkennen van sentiment. We zijn toen teruggegaan naar het punt halverwege, want dat bleek de sweet spot. Hadden we alleen aan het eind gemeten, dan hadden we de slechtere versie uitgebracht.
Walnoot heeft 8 miljard parameters, te vergelijken met de verbindingen tussen neuronen in een brein. GPT-NL heeft er 26 miljard, ruim drie keer zoveel. Voor de vergelijking gebruikten we EuroEval, de open testbank voor Europese talen die GPT-NL zelf koos. Het oorspronkelijke doel is gehaald: GPT-NL op alle zes gepubliceerde benchmarks minimaal evenaren. Die prestatie komt voor een deel van de Zwitserse motor en voor een deel van onze afstelling. We vergelijken ons instructiemodel bovendien met de tussentijdse cijfers die GPT-NL in december 2025 voor zijn basismodel publiceerde, op een oudere versie van EuroEval. Zelf nameten kunnen we GPT-NL niet, want de gewichten zijn niet openbaar.
Met de maatstaf tegen openwashing uit de vorige editie meten we ook onszelf. Het scorebord met de zwakke taken erbij, het recept, de ruwe meetgegevens en de herkomst van de data per bron zijn openbaar, zodat je alles zelf kunt narekenen. De trainingsdata en de instructievoorbeelden publiceren we niet, dus heet Walnoot open weight. Je downloadt de gewichten onder een Apache 2.0-licentie, die ook commercieel gebruik toestaat.
Amerikaanse rekenkracht was sneller binnen dan Europese
Hoe vaak er in Nederland ook over digitale autonomie wordt gepraat, Amerikaanse rekenkracht bleek voor ons sneller bereikbaar. Via een programma van NVIDIA konden we binnen een paar dagen beginnen. Daarna gingen we verder op MareNostrum 5, een Europese supercomputer in Barcelona, waar we via EuroHPC rekentijd kregen. Voordat we daar konden starten, waren we wel bijna een maand verder. Dat is precies het AI-wachtgeld waar ik in juli over schreef.
Ons model verzon wat niet in de brief stond
Eind augustus lieten we Walnoot los op een stapel realistische Nederlandse opdrachten en op een aantal taken bleek het zwak. Stond een antwoord niet in het document, dan vulde het model de leemte zelf op met vlotte zinnen die je makkelijk gelooft. Dus bouwden we vijf nieuwe versies van de trainingsset, A tot en met E, met nieuwe voorbeelden voor die zwakke plekken en nabewerkingsrondes eroverheen. Waar dat onvoldoende hielp, hebben we de belofte kleiner gemaakt.
Walnoot is gemaakt voor vier soorten werk met Nederlandse tekst, namelijk vragen beantwoorden over een document dat je meegeeft, gegevens uit een brief halen, teksten indelen in categorieën en een standaardtekst opzetten. Samenvatten kan als eerste opzet, maar persoonsgegevens weghalen of tekst herschrijven naar eenvoudige taal doe je er niet mee. Voor breed redeneerwerk, code of creatief werk zijn GPT en Claude sterker. Bij alles waar een fout grote gevolgen heeft, hoort een mens ertussen.
Voor wie AI inkoopt, is die afbakening volgens mij de nuttigste les. Veel organisaties sturen vrijwel al hun AI-werk naar één groot model in de cloud, ook het werk waarvoor dat model te duur is en waarbij gegevens het gebouw uit gaan. Voor het uitlezen van een brief kan een klein model dat in huis draait het eerste werk doen, met iemand die elk gegeven naloopt.
Een klein team met Einstein over de schouder
Waar je een paar jaar geleden een heel team machine-learningspecialisten voor nodig had, deden wij het met een klein team en AI als virtuele senior collega. Het voelt alsof Albert Einstein over je schouder meekijkt en tussendoor analyses draait en tests schrijft. Op dag één brachten AI-agents in een halfuur in kaart hoe GPT-NL zijn data had opgebouwd. Het corpus bleek openbaar en Apertus lag al klaar. Wat je van buiten niet ziet, zijn de weken waarin we dag en nacht aan dit model hebben gebikkeld, met steeds dezelfde cyclus van een trainingsrun starten, de uitkomst checken en corrigeren wat niet klopte.
Soms meldden agents dat iets klaar of geslaagd was terwijl dat niet zo was. We hielden daar een telling van bij en liepen elke belangrijke melding opnieuw na. Wie mijn workshops kent, herkent daarin de hoofdredacteur, die het werk van AI nakijkt en de besluiten zelf neemt. Mijn medeoprichter Seleman ving ondertussen klanten, pers en partners op, zodat ik op de techniek kon blijven zitten.
Toen ik in juli een vroege versie zonder systeemprompt op mijn laptop startte, was het model per gesprek iemand anders, de ene keer een scholier van dertien en de andere keer een advocaat. Sindsdien hoort de systeemprompt bij het model.
Walnoot draaien op je eigen machine
Walnoot staat op Hugging Face en alles over herkomst en scores vind je op walnoot.ai. Het model is ongeveer 16 GB groot en past in zijn geheel op een videokaart met 24 GB geheugen. Een laptop met 12 GB videogeheugen en 32 GB werkgeheugen kan het ook aan, alleen trager. We hebben het getest in Ollama en LM Studio, dezelfde programma's als in het playbook over lokale AI.
Neem één document dat nu nooit in ChatGPT belandt, zoals een ingekomen brief met persoonsgegevens. Laat Walnoot er de gegevens uithalen die jullie nu nog overtypen en controleer elk veld tegen de brief. In Ollama zit de juiste instelling al in het meegeleverde Modelfile. In LM Studio zet je zelf de temperatuur (hoe vrij het model formuleert) op nul en de contextlengte op 8192. Daarna plak je de systeemprompt erin. Ook met een model in eigen huis doe je een DPIA en regel je een grondslag. Het model zelf kost niets. WAINUT verdient zijn geld met het werk eromheen, zoals bepalen waarvoor je AI inzet en het in productie krijgen.
Op de soevereiniteitsladder was context tot nu toe de enige trede die je zelf bezit. Daar komt nu een model bij dat je zelf draait, al rust het op een Zwitsers fundament en rekenden videokaarten in Amerika en in Europa mee. We deden dit uit idealisme, omdat andere werelddelen ons op AI aan alle kanten inhalen. We konden het bouwen omdat de Zwitserse onderzoekers en het GPT-NL-team hun werk openbaar maakten. Op dezelfde manier mag nu iedereen op Walnoot voortbouwen, ook een concurrent. Als dat anderen inspireert om verder te bouwen, is ons steentje de moeite waard geweest. Met meer rekenkracht en meer mensen willen we graag een volgend, groter model bouwen. Heb je een toepassing in gedachten of wil je meedenken, reageer dan op deze mail. Intussen kun je Walnoot downloaden, openbreken en kijken wat erin zit.
We acknowledge EuroHPC JU for awarding the project ID EHPC-AIF-2026PG01-984 access to MareNostrum5 ACC hosted by BSC, Spain.
Lees ook
Gewone AI volstaat om Nederlandse organisaties te hacken
Dit AI-model kan geen enkele zin schrijven
Vind je dit waardevol? Deel het.
Stuur THE HUMAN LOOP door naar één collega die ook met AI bezig is. Voor elke vriend die zich aanmeldt, krijg je gratis maanden premium: inclusief alle Playbooks.