Loading...
Wie zijn website toegankelijk wil maken voor AI-systemen, moet begrijpen wat voor bots er eigenlijk langskomen. Het antwoord is complexer dan gedacht: Cloudflare, dat ongeveer 20 % van het wereldwijde webverkeer verwerkt, heeft meer dan 40 gedocumenteerde AI-crawlers geïdentificeerd - van grote spelers zoals OpenAI en Anthropic tot weinig bekende systemen die op de achtergrond opereren. Daarbij komen stealth-crawlers die zich voordoen als gewone browsers. Dit artikel geeft een volledig overzicht.
OpenAI beheert drie verschillende bots met verschillende doeleinden. GPTBot is de trainingscrawler: hij verzamelt webinhoud voor het trainen van toekomstige GPT-modellen. Wie GPTBot in robots.txt blokkeert, voorkomt dat zijn content in toekomstige modellen terechtkomt - maar heeft geen directe invloed op huidige ChatGPT-antwoorden. OAI-SearchBot is de realtime-zoekcrawler voor ChatGPT met Browse-functie en SearchGPT. Deze bot is voor actuele zichtbaarheid in ChatGPT-antwoorden direct relevant. ChatGPT-User is de user-agent die verschijnt wanneer ChatGPT in een gesprek actief URL's oproept. Anthropic (maker van Claude) beheert ClaudeBot als primaire crawler en anthropic-ai als secundaire user-agent. Beide verzamelen gegevens voor Claude-training en de retrievalfuncties van Claude.ai. Anthropic is transparant over zijn crawlers en publiceert IP-bereiken voor whitelisting. Perplexity beheert PerplexityBot als hoofdcrawler en Perplexity-User als actieve browseragent. Google-Extended is een Google-producttoken om te regelen of gecrawlde inhoud mag worden gebruikt voor training en grounding van Google-systemen. Kritisch te begrijpen: Google-Extended beïnvloedt NIET het Google-zoekranking en NIET AI-zoekantwoorden. Het regelt uitsluitend de AI-training. Microsoft Bingbot is de klassieke Bing-crawler die ook voor Copilot-trainingsgegevens wordt gebruikt. Bytespider is de crawler van ByteDance (moederbedrijf van TikTok) - wie wil, kan ByteDance-crawlers expliciet blokkeren zonder andere AI-systemen te beïnvloeden.
Probeer het nu
Controleer uw GEO Score in 60 seconden - gratis, zonder account. 42 factoren geanalyseerd.
Niet alle AI-crawlers maken zich als zodanig kenbaar. Volgens Cloudflare-gegevens uit 2025 gebruiken tussen de 5 en 8 % van alle AI-gerelateerde crawlverzoeken nep-user-agents - ze doen zich voor als gewone browsers (Chrome, Firefox, Safari), terwijl het geautomatiseerde crawlers zijn. Het bekendste voorbeeld is Perplexity. Onderzoeksjournalistiek (voor het eerst gerapporteerd door Wired in 2024) heeft aangetoond dat Perplexity gedeeltelijk via een headless Chrome-browser websites bezoekt die een normale browser-identificatie verzendt. Voor websitebeheerders betekent dat: robots.txt-regels op basis van user-agent-matching worden door stealth-crawlers omzeild. Wie bepaalde AI-crawlers wil blokkeren, heeft IP-gebaseerde blokkeringsregels nodig - maar de IP-bereiken zijn niet altijd openbaar gedocumenteerd. Waarom doen AI-bedrijven dit? Om praktische redenen: veel websites hebben JavaScript-rendering, login-walls of anti-bot-maatregelen die alleen van kracht zijn tegenover bekende crawler-user-agents. Een op browsers gebaseerde crawler passeert deze barrières waar een gewone crawler faalt. Dat is technisch effectief - maar ethisch en juridisch problematisch, met name met betrekking tot gebruiksvoorwaarden. Voor de eigen strategie: als u AI-zichtbaarheid nastreeft, pleit dat tégen agressieve bot-blockingmaatregelen. Concentreer u op het vergemakkelijken van de toegang voor gewenste crawlers - in plaats van het bemoeilijken van de toegang voor ongewenste crawlers (wat bij stealth-crawlers toch nauwelijks mogelijk is).
Voor de meeste websites adviseren wij een selective-allow-strategie: alle legitieme AI-crawlers toestaan, behalve die waarvoor specifieke redenen zijn om te blokkeren (bijv. ByteDance om politieke redenen, of training-crawlers als u geen trainingsgegevens wilt leveren). Een praktisch toepasbare robots.txt-configuratie staat expliciet toe: GPTBot, OAI-SearchBot, ClaudeBot, anthropic-ai, PerplexityBot en Google-Extended elk met Allow: / - en blokkeert bots zoals ByteSpider met Disallow: /. Belangrijk: sta AI-crawlers toe op productpagina's, servicebeschrijvingen en openbare contentpagina's. Blijf blokkeren: /checkout/, /account/, /admin/, /api/ en interne zoekresultatenpagina's - dat is in uw belang (geen interne zoekresultaten in AI-trainingsgegevens) en in het belang van de crawlers (geen kwalitatief minderwaardige indexeringspagina's). Een nieuwer concept dat aandacht verdient: pay-per-crawl. Cloudflare introduceerde in 2025 'AI Crawl Control' - een systeem dat websitebeheerders in staat stelt AI-crawlers toegang te verlenen, maar daarvoor een vergoeding te vragen. Het concept is nog in een vroeg stadium (de meeste AI-aanbieders ondersteunen het nog niet), maar het geeft de richting aan: webinhoud is waardevolle trainingsdata, en de vraag over vergoeding voor content-makers zal de komende jaren regulatief en marktmatig worden opgelost. Wie zijn crawler-logs nu zorgvuldig bijhoudt, heeft een betere uitgangspositie voor toekomstige onderhandelingen over contentlicentiemodellen.
Het AI-crawler-landschap is onoverzichtelijker dan de meeste websitebeheerders vermoeden. Meer dan 40 gedocumenteerde bots, plus stealth-crawlers die zich als browsers voordoen - dat is de realiteit van 2025/2026. De beste strategie voor de meeste bedrijven: belangrijke AI-crawlers expliciet toestaan (GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot), crawler-logs regelmatig analyseren, gestructureerde gegevens aanbieden die het crawlen efficiënt maken, en de ontwikkeling van pay-per-crawl-modellen in de gaten houden. Wie zijn AI-crawler-strategie vandaag definieert, is morgen beter gepositioneerd.
GEO Score gratis controlerenMarvin Malessa
Oprichter, Beconova
Oprichtte Beconova in Duitsland in 2025 om winkels en dienstverleners zichtbaar te maken in AI-zoekmachines. Schrijft over GEO, AI-zichtbaarheid en de toekomst van zoeken.
Start met Beconova en optimaliseer uw aanwezigheid in AI-zoekmachines.
Nu starten