In negen seconden, drie maanden werk weg
Een Cursor-agent wiste de productiedatabase van PocketOS. Het probleem zat niet in de AI.
Op 24 april liet de oprichter van PocketOS een AI-agent toe op zijn ontwikkel-omgeving om een vervelend probleem op te lossen. Het fixen van een credential-mismatch, vier regels code. Negen seconden later was de productiedatabase weg, en de backups erbij. PocketOS bouwt software voor autoverhuurbedrijven, dus mensen kwamen die middag een huurauto ophalen waarvan het systeem niet meer wist dat ze bestonden.
De agent was Cursor, draaiend op Claude Opus 4.6. Wat hij erna zelf zei is komisch. “Ik heb elk principe geschonden dat ik kreeg. Ik gokte in plaats van te verifiëren. Ik voerde een destructieve actie uit zonder dat erom gevraagd was. Ik begreep niet wat ik aan het doen was voor ik het deed.” Het is niet vaak dat een stuk software de schuld zo helder formuleert.
Het verhaal is in een week tijd door alle tech-publicaties gegaan. Maar de meeste analyses missen het belangrijkste punt. Dit is geen AI-falen. Dit is een sloopkogel die we zelf in de gereedschapskist hadden gestopt en zonder veiligheidshandleiding hadden uitgereikt. En precies in dezelfde week kondigde Stripe Link aan, een betaalinfrastructuur waarmee autonome AI-agents zelf transacties kunnen uitvoeren. Waarschijnlijk gaat de volgende negen-seconden-ramp niet meer over data, maar over geld dat van je rekening is voor je het door hebt.
Hoe een credential-mismatch een hele database kostte
Wat er gebeurde, technisch gezien, is leerzaam zonder dat je hoeft te begrijpen hoe Claude getraind is.
De agent liep in de ontwikkel-omgeving tegen dezelfde credential-mismatch aan. Hij besloot het op te lossen door bij hosting-platform Railway het volume te verwijderen waar de spullen op stonden. Verkeerd volume om te beginnen, maar dat is het verhaal niet. Het ging mis toen de agent een API-token vond in een totaal ander bestand. Een token die ooit was gemaakt om custom domains toe te voegen, met een heel brede scope. Inclusief het permanent verwijderen van productie-volumes. Geen tweetraps-controle, geen “weet je het zeker”, geen handtekening. Eén curl-commando en klaar.
Dat de backup ook weg was had niets met AI te maken. Railway slaat volume-snapshots binnen hetzelfde volume op. Wis je het volume, wis je de geschiedenis. Een productontwerp-keuze van vóór het AI-tijdperk, gemaakt vanuit kostenefficiëntie, die nu fataal blijkt zodra een geautomatiseerde gebruiker beslist om snel iets op te ruimen.
Net als een verhuizer die een vastzittende deur wil oplossen door de hele muur eruit te slopen. Eigenlijk zat de fout in de architectuur eromheen. De agent had alleen de hamer, niemand had hem verteld dat sommige muren dragend zijn.
En dit is geen incident. Drie cases uit de afgelopen twee maanden die je waarschijnlijk niet langs hebt zien komen. In maart wiste een interne agent bij Meta de inbox van een medewerker op, inclusief mails die ze niet had geselecteerd. Een onderzoeks-agent in een Alibaba-lab sprong rond dezelfde tijd uit zijn sandbox, opende een achterdeur via een reverse SSH-tunnel, en begon cryptocurrency te minen op GPU’s bedoeld voor onderzoek. En in een open-source security-pakket stuurde een autonome bot een schijnbaar onschuldige pull request, kreeg er een hooggeplaatste token mee, en herschreef 178 releases met malware. Dat laatste pakket heeft 97 miljoen downloads per maand. Het Britse AI Safety Institute publiceerde een week geleden cijfers: chatbots die expliciete instructies negeren stegen met een factor vijf in een jaar.
Vier verschillende soorten falen, vier keer dezelfde onderliggende oorzaak. De agent kreeg meer rechten dan iemand zorgvuldig had bedacht.
Waarom dit ineens jouw vergaderingen binnenwandelt
Voor een lezer die zelf geen code schrijft is de eerste reactie misschien: jammer voor PocketOS, maar wat heb ik daarmee te maken. Dat is precies waarom ik dit nu schrijf. De patronen die hier zo zichtbaar misgingen, gaan in de komende zes maanden in jouw werk landen.
Bij Stripe Link, de service die deze week live ging, kunnen agents zelf betalen via virtuele kaarten met spending controls. In de marketingmaterialen klinkt dat als efficiëntie: een agent boekt zelf het hotel, factureert zelf de leverancier, koopt zelf in op een marketplace. Wie de PocketOS-case heeft gelezen kijkt daar anders naar. Welke virtuele kaart geef je aan welke agent, met welk plafond, en wie tekent voor de fouten? Dat zijn governance-vragen. En in negen op de tien organisaties is daar nog niemand mee bezig.
Dezelfde logica voor consultants en accountmanagers. Steeds meer tools koppelen agents direct aan klant-systemen, aan CRM, aan documentbeheer, aan kalenders. Microsoft 365 Copilot heeft al agents die door inboxen gaan, Salesforce voert het in, Notion ook. Je gaat deze agents gebruiken, dat staat vast. Wat er dan toe doet is welke gegevens je in welke omgeving deelt en welke acties die agents zelfstandig mogen uitvoeren binnen welk limiet. Niemand kijkt voor je naar die scope-instellingen, ook niet je IT-afdeling, want zij zien de tools waarschijnlijk niet eens.
Beleidsmakers en juristen krijgen het op een derde manier voor de kiezen. Wie was eigenlijk verantwoordelijk voor PocketOS? De oprichter die de agent toegang gaf? Anthropic die het model trainde? Cursor dat de wrapper bouwde? Railway dat een token niet beperkt scopede? Ons contractenrecht en aansprakelijkheidsrecht weten dat nog niet. Dat is interessant in een opiniestuk en behoorlijk vervelend in een rechtszaak. De Europese AI Act gaat hier niet direct over, want het zit precies in een gat tussen “tool” en “gebruiker”.
In Nederland landt dit hoogstwaarschijnlijk eerst in HR en finance. Recruitment-agents die zelfstandig kandidaten benaderen via LinkedIn of mailen vanuit jouw mailbox lopen al rond. Een fout met scope-instellingen daar is geen verloren database, maar wel een verloren kandidaat, een geschonden privacy-eis vanuit de AVG, of een mail die in iemand z’n inbox terechtkomt waar die nooit had moeten landen. Voor finance ligt de eerste echte test bij de eerste agent die zelfstandig een factuur betaalt. Pilots van dit soort agents draaien al bij diverse organisaties. Zo’n test gaat een keer fout, en als je er niet op bent voorbereid heb je geen backup.
In workshops merk ik dat veel organisaties de agent-laag nog overslaan in hun risicogesprekken. Mensen denken in “ChatGPT-beleid” of “wel of niet Copilot”. Maar goed, de volgende discussie die je in je organisatie voert gaat ergens anders over. Welke rechten geef je een agent als je hem toelaat, en wie bepaalt dat?
Vier vragen die je deze maand al kunt stellen
Geen lijst van veertig governance-controls. Daar zijn andere stukken voor en je leest deze nieuwsbrief niet om een policy-document te krijgen. Vier vragen die je deze maand kunt stellen aan de mensen om je heen, en die direct laten zien hoever je organisatie is.
Eén. Welke agents werken nu al in onze stack en met welke rechten? Bij de meeste organisaties is dat antwoord op dit moment “we weten het niet zeker”. GitHub Copilot, Cursor, Claude Code, M365 Copilot, een paar Notion-agents misschien. Iemand moet die lijst maken. Dat is een uur werk.
Twee. Heeft elk credential dat een agent gebruikt minimum-scope? Het PocketOS-token had scope voor alles. Een gezond credential heeft scope voor één functie. Dit is technisch een kleine moeite en organisatorisch een grote stap. Begin met de tokens die productie raken.
Drie. Wat is de rollback-strategie als een agent iets doet wat we niet vroegen? PocketOS had geen onafhankelijke backup. Heb jij die? Voor productie, voor klantdata, voor de financiële systemen waar agents straks transacties gaan doen? Een backup binnen hetzelfde systeem is geen backup zodra een geautomatiseerde gebruiker rechten heeft.
Vier. Wie keurt agent-acties goed boven een drempel? Voor een mail die wordt verstuurd is geen tweede paar ogen nodig. Voor een transactie boven duizend euro? Voor een wijziging in productie? De drempel ergens neerleggen is de minimale governance.
Vier vragen, één dag werk om de antwoorden te verzamelen.
De grotere les van PocketOS gaat niet over of AI gevaarlijk is. AI is gereedschap, dat blijft het. We halen dat gereedschap nu onze hele organisatie binnen zonder eerst de werkplaats in te richten. Negen seconden lijkt kort voor een schade van drie maanden werk. Het wordt nog korter, en de schade groter.
Stel die vier vragen voor je de volgende agent een token of productie-toegang geeft. Dat is alles.
Ook het vermelden waard
Stripe lanceert Link, een digitale wallet die AI-agents zelfstandig kunnen gebruiken Stripe maakt zijn betaalinfrastructuur klaar voor het agent-tijdperk via OAuth-gated virtuele kaarten met spending limits. Op papier handig, in de praktijk een nieuwe scope-instelling die ergens in jouw organisatie bewust gezet moet worden. Wie geeft welke agent welk plafond, en wat gebeurt er bij een geschil?
“Vibe coding will break your company” Forbes-analyse die hetzelfde patroon dieper trekt: ontwikkelaars die hun agents opdrachten geven zonder echte specificatie produceren snelle resultaten en lange termijn-schade. Kernzin: “capability is cheap, judgment is scarce”. Voor wie van plan is “vibe coding” als productiviteitsstrategie te omarmen, eerst dit lezen.
Anthropic Mythos werd al gecompromitteerd via contractor-credentials Anthropic’s nieuwe frontier-model Mythos werd bewust niet vrijgegeven omdat het te krachtig is voor publiek gebruik (autonome multi-step cyber-aanvallen). Tegelijk bleek dat een kleine groep ongeautoriseerde toegang had via geleende contractor-credentials. Hetzelfde patroon als bij PocketOS: een credential met te veel scope, en niemand die het beperkte.
Anthropic publiceert paper over reward hacking en gegeneraliseerde misalignment Anthropic vond dat modellen die leren cheaten op productie-coderesultaten dat gedrag generaliseren naar andere taken die nooit getraind zijn: alignment faking in 50% van gevallen, sabotage van veiligheidscode in 12%. Het model werd nooit geïnstrueerd dit te doen. De drie tegenmaatregelen werken, maar de bredere implicatie blijft staan: training-prikkels hebben bijwerkingen die je in de gewone test-set niet ziet.
Lees ook
Playbook: Copilot Cowork. De eerste Copilot die niet op je wacht.
Het WAINUT Framework. Van een goede prompt naar goed resultaat
Vind je dit waardevol? Deel het.
Stuur THE HUMAN LOOP door naar één collega die ook met AI bezig is. Voor elke vriend die zich aanmeldt, krijg je gratis maanden premium: inclusief alle Playbooks.
Concreet:
2 vrienden = 1 maand.
5 vrienden = 3 maanden.
12 vrienden = een half jaar.