"Dhr. B. had op een vergelijkingssite gezien dat hij zo'n 400 euro per jaar goedkoper uit kan en gaat dat regelen.“ Hij zei het vrij duidelijk, hij blijft niet. Het woord opzeggen staat nergens in die notitie van een medewerker, dus met Ctrl+F vind je deze klant in je klantsysteem nooit terug. Er staat ook geen terugbelafspraak bij, waardoor niemand in je organisatie hoort dat hij op vertrekken staat. Dus liet ik een beslismodel, een AI-model dat per document alleen een kans teruggeeft, 2.000 klantnotities van een energieleverancier beoordelen. Binnen 23 seconden en voor 13 cent stonden 59 van de 60 gezochte klanten in de top 100, terwijl zoeken op "opzeg" er 22 vond tussen 84 valse treffers.
Een AI-model dat alleen kansen teruggeeft
In de editie over Jev legde ik uit wat een beslismodel is. Je geeft het een tekst en een paar vragen met vaste antwoordmogelijkheden en je krijgt per vraag een kans terug. Omdat dit AI-model geen zin hoeft te schrijven of samen hoeft te vatten, is het snel en spotgoedkoop. Jev van TypeSafe rekent 0,042 euro per miljoen ingelezen tokens, de stukjes van grofweg driekwart woord waarin een model tekst opknipt. De uitvoer is gratis.
Denk aan een metaaldetector die je afstelt op wat je zoekt. Hij piept harder naarmate de kans groter is dat het onder het zand zit, dus je graaft eerst waar hij het hardst piept. Ctrl+F piept even hard bij elk blikje waar het woord opzeggen op staat en blijft stil bij de klant die het anders zegt.
Sinds die editie kwamen OpenAI, Perplexity, Cloudflare en Microsoft met een eigen beslismodel. Op 16 oktober kon je bij OpenRouter, een dienst die modellen van veel makers via één account aanbiedt, 22 beslismodellen van 13 makers gebruiken. Bijna allemaal werken ze met dezelfde drie soorten vragen. Je stelt een ja/nee-vraag, laat kiezen uit een vaste lijst zoals acuut, overweegt en twijfel, of vraagt om een score op een schaal die jij beschrijft. Bij een ja/nee-vraag geef je mee wat als ja telt en wat als nee. Je krijgt de kans op ja terug, bijvoorbeeld 0,93.
Omdat je per document een getal terugkrijgt, kun je sorteren. Dus wordt een archief van tienduizenden documenten eigenlijk een leeslijst, met bovenaan de beste kandidaten. Zelf liet ik zo een archief van ruim tachtigduizend pagina's beoordelen. Elke pagina kreeg dezelfde vragen, het hele archief kostte zo'n vijf euro en daarna las ik alleen nog de pagina's bovenaan de lijst.
Zestig klanten op vertrekken in tweeduizend notities
De energieleverancier legt van elk klantcontact een notitie vast. Acht medewerkers schrijven elk op hun eigen manier, van telegramstijl tot doorgestuurde mails en lange notities. Het team wil weten in welke notities staat dat een klant wil opzeggen of overstappen, zonder dat iemand iets heeft gedaan om hem te houden.
Voor de proef liet ik een taalmodel 2.000 van dit soort notities schrijven. In 60 daarvan zit het gezochte geval, 35 keer zonder het woord opzeggen of overstappen. Daarnaast zitten er 160 notities in als lokaas voor een zoekfunctie, zoals "ik wil niet opzeggen, alleen mijn termijnbedrag aanpassen", een opgezegde nieuwsbrief, overstappen op een ander tarief bij de energieleverancier zelf en een opzegging die al verwerkt is omdat de klant emigreert. Verzonnen notities zijn netter dan die in een echt klantsysteem, dus reken erop dat je eigen lijst minder schoon is.
Ctrl+F op "opzeg" gaf 106 treffers, waarvan 22 goed. De 84 valse treffers waren allemaal lokaas.
Een slimmere zoekopdracht (opzeg of overstap of concurrent of weg, zonder de woorden terugbel, aanbod, korting en behoud) gaf 179 treffers, waarvan 33 goed. Het filter gooide ook klanten weg bij wie letterlijk "geen aanbod gedaan" of "geen terugbelafspraak" stond.
Het beslismodel kreeg per notitie twee ja/nee-vragen, één over de vertrekwens en één over een actie om de klant te houden. Het zette 59 van de 60 in de top 100 van de gesorteerde lijst. De zestigste stond op plek 101. In de top 50 stonden alleen gezochte klanten.
Beeld: eigen proef
Geen enkele zoekopdracht vond meneer B. uit het begin van dit stuk. Het beslismodel zette hem op plek 11.
De omschrijving bij je vraag doet het meeste werk
Dezelfde proef deed ik ook met de eerste vraag slordig gesteld, als "Wil de klant opzeggen?" zonder verdere uitleg. Toen stonden er nog 28 gezochte klanten in de top 50 in plaats van 50. Op plek 1, 2 en 3 stonden klanten van wie de opzegging al verwerkt was, omdat ze emigreerden of waren overleden.
De goede vraag zei dat het moest gaan om een klant die nu zelf overweegt naar een andere leverancier te gaan. Ook stond erin wat niet meetelt, zoals een opzegging die al verwerkt is, iets anders opzeggen dan het contract, een citaat over iemand anders of overstappen op een ander tarief bij de energieleverancier zelf. Het model beantwoordt precies de vraag die je stelt. Dus alles wat jij er stilzwijgend bij denkt, moet erin staan.
Dezelfde aanpak voor Woo-stukken, contracten en inspectierapporten
Een gemeente met een Woo-verzoek zet duizenden documenten op volgorde van "gaat dit over het onderwerp van het verzoek". De ambtenaar leest van boven naar beneden en beslist zelf.
Een inkoopteam zoekt in honderden contracten naar een boeteclausule of een eenzijdige prijsverhoging, ook als die anders verwoord is.
Een woningcorporatie zoekt in inspectierapporten naar vocht of schimmel die wel is gezien, maar waar geen opdracht op volgde. In een eerdere proef met 2.000 verzonnen rapporten vond Ctrl+F op "schimmel" er 19 van de 60. Het beslismodel zette ze alle 60 in de top 100.
Je eerste gesorteerde lijst in vijf stappen
Kies één stapel en een vraag waar één ja of nee op past. Zit er "en" of "zonder" in je vraag, dan zijn het er eigenlijk twee, zoals bij de energieleverancier. Haal er voor de eerste proef namen, adressen en andere persoonsgegevens uit, want elk document gaat naar de servers van de aanbieder van het model.
Schrijf op wat je zoekt, wat als ja telt en wat juist niet meetelt. Gebruik het blok hieronder.
Maak een account bij OpenRouter en zet er een klein tegoed op. In mijn proef kostten 2.000 notities met drie vragen samen 13 cent. Maak een API-sleutel aan, een soort wachtwoord waarmee een script namens jou modellen aanroept.
Laat een coding agent het script bouwen. Dat is een AI-assistent die zelf code schrijft en op je computer uitvoert. Claude Code en Codex zitten in een betaald abonnement vanaf ongeveer 20 euro per maand. Heb je nog nooit met zo'n agent gewerkt, lees dan eerst het playbook over Claude Code.
Lees de top en een greep uit de rest. Open de bovenste twintig, kijk waar het misgaat en scherp de omschrijving aan. Pak daarna twintig documenten uit het midden en het eind van de lijst om te zien wat het model mist.
Voor stap 2 vul je dit blok in.
VRAAG: [Wat wil je per document weten, als ja/nee-vraag?]
TELT ALS JA: [Wat moet erin staan, ook als het anders verwoord is. Noem voorbeelden.]
TELT NIET: [Wat lijkt erop maar telt niet mee: al afgehandeld, alleen genoemd in een citaat,
over iemand anders of in een andere betekenis, uitdrukkelijk ontkend.]Voor stap 4 gebruik je deze prompt, met je ingevulde blok erbij.
In deze map staan [AANTAL] documenten als [PDF/WORD/TEKST/EXPORT UIT HET KLANTSYSTEEM].
Ik wil ze laten beoordelen door een beslismodel via de Decisions API van OpenRouter
(https://openrouter.ai/api/alpha/decisions), model typesafe/jev-1.14. Help me eerst mijn
API-sleutel op te slaan als omgevingsvariabele OPENROUTER_API_KEY, zonder dat hij in een bestand komt.
1. Haal de tekst uit elk document. Meld welke documenten geen leesbare tekst hebben.
2. Stuur per document de tekst als state mee, met deze vraag als ja/nee-vraag (type noul)
en de omschrijving als criteria voor true en false: [PLAK HIER JE INGEVULDE BLOK].
3. Begin met tien documenten en laat mij de antwoorden zien voordat je de rest doet.
4. Zet daarna alles in een Excel-bestand met de bestandsnaam, de kans en de eerste 300 tekens,
gesorteerd van hoog naar laag. Meld de totale kosten en de doorlooptijd.Hieronder maak je van die ene vraag een lijst die je archief sorteert op gevallen waar nog niets mee gebeurd is. Je krijgt de drie vragen uit de proef, de som die twee vragen tot één lijst maakt en de prompt voor een vragenset met een tweede ronde op de twijfelgevallen. Je leest hoe vier beslismodellen dezelfde stapel sorteerden, waarom ik voor mijn eigen archiefwerk bij Jev uitkwam, waar het op zes plekken misgaat en wat de aanbieders met je documenten doen.
Maandelijks opzegbaar en je eerste playbook is gratis.
