Mogen AI-crawlers je site lezen? Zo controleer je het in vijf minuten

Het korte antwoord

AI-assistenten lezen je site met eigen crawlers, zoals GPTBot en OAI-SearchBot van OpenAI, ClaudeBot van Anthropic en PerplexityBot. Als je robots.txt of je hosting die blokkeert, kunnen ze je pagina's niet lezen en word je niet genoemd. Controleer je robots.txt op regels die deze crawlers uitsluiten, kijk of je hosting of beveiligingsdienst bots tegenhoudt, en test met de GEO-controle in dGENIX. Wil je dat AI-assistenten je noemen, sta de zoekcrawlers dan toe.

Waarom dit vaak misgaat

De meeste bedrijven hebben nooit bewust gekozen om AI-crawlers buiten te houden. Het gebeurt per ongeluk:

• Een standaardinstelling bij de hosting of een beveiligingsdienst die "onbekende bots" blokkeert. AI-crawlers vallen daar soms onder.
• Een robots.txt van een sjabloon of plug-in, met regels die iemand ooit kopieerde.
• Een beslissing uit 2023, toen veel sites uit voorzorg alle AI-crawlers blokkeerden. Wat toen logisch leek, kost nu vermeldingen in AI-antwoorden.

Je merkt het niet, want je site werkt gewoon voor gewone bezoekers. Alleen de assistenten zien een dichte deur.

Twee soorten AI-crawlers

Niet elke AI-crawler doet hetzelfde. Grofweg zijn er twee soorten:

Soort	Wat het doet	Voorbeelden
Zoekcrawlers	Lezen je pagina om een vraag van een gebruiker nu te beantwoorden, met jou als bron	OAI-SearchBot, PerplexityBot, Claude-SearchBot
Trainingscrawlers	Verzamelen tekst om toekomstige modellen te trainen	GPTBot, ClaudeBot, Google-Extended

Wil je genoemd worden in antwoorden, dan moeten in elk geval de zoekcrawlers erin. Of je de trainingscrawlers toestaat, is een eigen keuze. Voor de meeste kleine bedrijven is toestaan logisch: hoe meer de modellen over je weten, hoe groter de kans dat ze je kennen.

De exacte namen veranderen af en toe. Kijk bij twijfel op de documentatie van de aanbieder.

Stap 1: bekijk je robots.txt

Ga naar jouwsite.nl/robots.txt. Je ziet regels als:

User-agent: GPTBot Disallow: /

Dat betekent: GPTBot mag niets lezen. Een regel met "User-agent: *" en "Disallow: /" sluit alle crawlers uit, ook Google. Staat er niets over AI-crawlers, dan mogen ze alles lezen wat niet elders is uitgesloten.

Pas regels die je niet bewust wilde aan, of laat je webbouwer dat doen.

Stap 2: controleer je hosting en beveiliging

Robots.txt is een verzoek, geen slot. Sommige hostingpakketten en beveiligingsdiensten blokkeren bots op een andere manier, nog voordat robots.txt gelezen wordt. Kijk in het beheerpaneel van je hosting of beveiligingsdienst naar instellingen als "bot protection", "AI scrapers blokkeren" of "block AI bots". Staat die aan terwijl je genoemd wilt worden, zet hem dan uit of maak een uitzondering voor de zoekcrawlers.

Stap 3: test het

Met de GEO-audit in dGENIX controleert GENI of de belangrijkste AI-crawlers je site kunnen bereiken, en welke regels in je robots.txt ze tegenhouden. Vraag:

"Controleer of AI-crawlers mijn site mogen lezen, en zeg welke regel of instelling ze tegenhoudt."

Je krijgt per crawler een antwoord, en wat je moet aanpassen. De GEO Engine doet daarnaast een bredere controle: hoe citeerbaar je pagina's zijn en of je een llms.txt hebt. Wat een llms.txt is, lees je in llms.txt uitgelegd.

Stap 4: houd het in de gaten

Een update van je hosting, een nieuwe plug-in of een wijziging door je webbouwer kan de instelling ongemerkt terugzetten. Laat GENI de controle elke maand herhalen met een geplande taak. Hoe dat werkt, staat in geplande taken uitgelegd.

Wat je beter wel afschermt

Toegang voor crawlers betekent niet dat alles open moet. Sluit uit wat niet gevonden hoeft te worden:

• inlogpagina's en klantomgevingen;
• zoekresultaten binnen je eigen site;
• testpagina's en conceptversies;
• bestanden met persoonsgegevens.

Die regels gelden dan voor alle crawlers, AI of niet.

Daarna: gelezen worden is nog geen genoemd worden

Toegang is de eerste stap. Of een assistent je ook noemt, hangt af van hoe goed je pagina's een vraag beantwoorden. Daarover lees je meer in schrijven zodat AI je citeert en in gevonden worden in Gemini en Copilot.

Na de toegang: wat de assistent te lezen krijgt

Als de crawlers erin mogen, telt wat ze vinden. Een site waarvan de tekst pas in de browser wordt opgebouwd, met veel JavaScript, kan voor een crawler toch leeg zijn. Controleer of je belangrijkste pagina's hun tekst in de HTML hebben staan. De SEO Engine kijkt daar ook naar, samen met snelheid, titels en de structuur van je pagina's.

Zorg daarnaast voor een duidelijke structuur: kopjes die vragen beantwoorden, korte alinea's, een blok met veelgestelde vragen. Een assistent die je pagina leest, zoekt een passage die hij kan overnemen. Hoe makkelijker die te vinden is, hoe groter de kans dat jij de bron bent.

Een snelle checklist

• Robots.txt bekeken op regels voor GPTBot, OAI-SearchBot, ClaudeBot en PerplexityBot.
• Instellingen voor botbescherming bij je hosting of beveiligingsdienst nagelopen.
• Een test gedaan met de GEO-controle.
• Een maandelijkse herhaling ingepland.
• Inlog- en klantpagina's bewust uitgesloten.

Veelgestelde vragen

Kost het toelaten van AI-crawlers bandbreedte?

Een beetje. Voor een gewone bedrijfssite is dat verwaarloosbaar. Merk je toch overlast, beperk dan de trainingscrawlers en laat de zoekcrawlers toe.

Kan ik zien of AI-crawlers mijn site bezoeken?

In de logbestanden van je hosting staan de bezoeken met de naam van de crawler. Bezoek dat via een AI-assistent binnenkomt, zie je vaak in je analytics als verwijzing.

Wat als mijn webbouwer de instellingen beheert?

Stuur hem de uitkomst van de controle, met de regels die aangepast moeten worden.

Waar begin ik?

dGENIX staat in vroege toegang. Zet je op de wachtlijst, of lees eerst wat is GEO.