Je kent het gevoel: het bezoekersaantal van je website stijgt, en dat lijkt goed nieuws. Totdat je ontdekt dat de helft van dat verkeer nep is. Geen potentiële klanten die je aanbod lezen, maar AI-bots die je content wegschrapen voor trainingsdata van modellen waar jij nooit een cent voor terugziet.
Cloudflare-CEO Matthew Prince trok deze week hard aan de alarmbel. Zijn bedrijf, dat een aanzienlijk deel van het wereldwijde internetverkeer verwerkt, blokkeerde in slechts vijf maanden tijd 416 miljard AI-scrapeverzoeken. Dat zijn geen incidentele crawls van zoekmachines. Dat is een industriële operatie die jouw website behandelt als gratis grondstof voor andermans miljardenbusiness.
Bots inhalen mensen in 2027
Het meest verontrustende cijfer uit de Cloudflare-data: botverkeer groeit zo explosief dat het in 2027 menselijk internetverkeer voorbijstreeft. Eén AI-agent kan in seconden duizenden bronnen doorzoeken om één enkel antwoord te genereren. Jouw server draait ondertussen overuren, jouw hostingrekening stijgt, en de AI die jouw content gebruikt, stuurt geen enkele bezoeker terug naar jouw site.
Prince pleit openlijk voor een "pay to crawl"-model: wie jouw content wil gebruiken om AI-modellen te trainen of antwoorden te genereren, moet daarvoor betalen. Het huidige model — jij betaalt voor hosting en contentcreatie, zij scrapen gratis — is economisch onhoudbaar aan het worden.
De Napster-parallel
De situatie doet sterk denken aan de muziekindustrie rond 1999. Gratis muziek downloaden via Napster voelde toen als een onschuldig wondertje, totdat artiesten en labels massaal in opstand kwamen. Spotify loste dat uiteindelijk op met een abonnementsmodel waarin artiesten betaald kregen per stream.
Het web staat nu voor een soortgelijke afrekening. De gratis AI-scrapers zijn de Napsters van dit decennium. Een "pay to crawl"-wereld is de Spotify-oplossing voor contentmakers — en jouw website is de artiest die eindelijk betaald gaat worden voor wat hij produceert.
Dit raakt MKB harder dan techgiganten
Verrassend genoeg raakt deze verschuiving kleine ondernemers harder dan de Googles en Meta's van deze wereld. Techgiganten hebben de infrastructuur om miljarden botverzoeken moeiteloos te verwerken. Jouw MKB-website op een gedeeld hostingpakket niet.
Elke AI-scrape vertraagt je laadtijd voor echte bezoekers, verhoogt je serverkosten en kan in extreme gevallen je site offline halen door overbelasting. En het erge is: nergens op internet verschijnt een bronvermelding die jouw website noemt als herkomst van de informatie.
Een concreet Nederlands voorbeeld. Een e-commerce-ondernemer met zeshonderd producten ontdekte bij nadere inspectie dat 62 procent van zijn serververkeer afkomstig was van AI-bots. Zijn maandelijkse hostingrekening verdubbelde. Zijn echte klanten kregen pagina's die seconden langzamer laadden. En geen enkel AI-antwoord op internet linkte terug naar zijn winkel als bron van de productinformatie.
Drie dingen die je morgen kunt doen
1. Vraag je hostingprovider om botverkeer-inzicht. Laat je niet afschepen met een algemeen bezoekersaantal. Vraag specifiek om een uitsplitsing van verkeer met user-agents die "GPT", "Claude", "bot", "crawler" of "scraper" bevatten. De kans is groot dat je schrikt van het percentage.
2. Zet een robots.txt met tanden. Een standaard robots.txt wordt door AI-crawlers massaal genegeerd. Gebruik de specifieke AI-blokkades die Cloudflare aanbeveelt: GPTBot, Claude-Web, anthropic-ai, CCBot, Bytespider en PerplexityBot. Cloudflare-gebruikers kunnen AI-scrapebescherming met één klik inschakelen.
3. Bereid je voor op het pay-to-crawl-tijdperk. Het klinkt nu nog futuristisch, maar binnen twee jaar is de kans reëel dat jouw website een crawlbudget of toegangstarief hanteert. Denk nu alvast na over de waarde van jouw contentdata. Die handleidingen die jij schreef, die productbeschrijvingen die jij perfectioneerde, die branche-analyses waar je weken aan werkte — dat is trainingsmateriaal waar AI-bedrijven miljarden mee verdienen. Jouw kennis heeft waarde. Behandel het ook zo.
De internet-economie staat op een historisch kantelpunt. Twintig jaar lang was het heersende model: jij maakt content, zij scrapen gratis, en Google stuurt je wat bezoekers terug. Dat model stort in nu AI je werk gebruikt zonder ook maar één klik terug te sturen. De websites die dit decennium overleven, zijn de websites die hun data nu serieus gaan nemen — niet als bijproduct van hun bedrijf, maar als het kapitaal waarop de AI-economie draait.