Loading...
Uw robots.txt regelt al jaren welke zoekmachinecrawlers toegang hebben tot uw website. Maar naast Googlebot zijn er nu een half dozijn AI-crawlers die uw content lezen - en gebruiken in hun antwoorden. Als u deze crawlers niet kent en beheert, verliest u de controle over uw AI-zichtbaarheid. Deze gids laat zien welke AI-crawlers er zijn, hoe u ze configureert en wat de nieuwe llms.txt-standaard betekent.
GPTBot is de crawler van OpenAI en verzamelt data voor ChatGPT. ClaudeBot is van Anthropic en voedt de Claude AI-assistent. PerplexityBot doorzoekt het web voor Perplexity AI, een AI-zoekmachine die bronnen met links citeert. Google-Extended is een Google-producttoken om te regelen of gecrawlde inhoud mag worden gebruikt voor training en grounding van Google-systemen. Bingbot wordt ook gebruikt voor Microsofts Copilot. Elke crawler heeft zijn eigen user-agent string en kan apart worden beheerd in uw robots.txt. De beslissing welke crawlers u toestaat beïnvloedt rechtstreeks in welke AI-systemen uw content verschijnt.
Probeer het nu
Controleer uw GEO Score in 60 seconden - gratis, zonder account. 42 factoren geanalyseerd.
De configuratie volgt hetzelfde patroon als voor Googlebot. Met "User-agent: GPTBot" en "Allow: /" geeft u OpenAI volledige toegang. Met "Disallow: /internal/" blokkeert u specifieke mappen. Voor maximale AI-zichtbaarheid raden wij aan: geef GPTBot, ClaudeBot en PerplexityBot toegang tot publieke content. Blokkeer alleen gevoelige gebieden zoals admin-panelen of interne documenten. Belangrijk: als u AI-crawlers volledig blokkeert, wordt uw content niet meer geciteerd in ChatGPT, Claude en Perplexity. Dat kan gewenst zijn voor sommige content - voor uw producten en diensten is het een concurrentienadeel.
Naast robots.txt is er een nieuwe standaard: llms.txt. Dit bestand staat in de hoofdmap van uw website en biedt AI-systemen een compacte samenvatting van uw bedrijf. Terwijl robots.txt alleen toegang regelt, levert llms.txt actief informatie: Wie bent u? Wat biedt u aan? Wat zijn uw kernproducten? AI-systemen kunnen dit bestand gebruiken om uw bedrijf beter te begrijpen en nauwkeuriger aan te bevelen. Beconova genereert uw llms.txt automatisch uit uw productgegevens en Schema.org-informatie. Gecombineerd met Beconova's integratiegids kunt u robots.txt en llms.txt in minuten instellen - geen ontwikkelaar of technische expertise nodig.
robots.txt en llms.txt vormen de basis van uw AI-zichtbaarheid. Door beide bestanden correct te configureren bepaalt u actief in welke AI-systemen uw content verschijnt. Beconova helpt u hierbij - van automatische llms.txt-generatie tot de complete integratiegids.
GEO Score gratis controlerenMarvin Malessa
Oprichter, Beconova
Oprichtte Beconova in Duitsland in 2025 om winkels en dienstverleners zichtbaar te maken in AI-zoekmachines. Schrijft over GEO, AI-zichtbaarheid en de toekomst van zoeken.
Start met Beconova en optimaliseer uw aanwezigheid in AI-zoekmachines.
Nu starten