Een website optimaliseren voor AI-search zonder bij te dragen aan modeltraining.

Hoe websites vindbaar, begrijpelijk en makkelijk citeerbaar te maken voor AI-zoekmachines, zonder dat content onderdeel wordt van grote taalmodellen.

Zoeken via modellen zoals Google’s AI Summary is inmiddels bijzonder mainstream geworden. Meer dan 60% van de zoekopdrachten gebeurt nu zonder ooit op een website te klikken, wat betekent dat websites die niet optimaliseren voor AI waarschijnlijk achterblijven bij concurrenten die LLM’s wel hun content laten lezen. Hoewel sommigen van ons AI misschien niet leuk vinden, is het lastig om een steeds groter wordende groep mensen op te geven die je content via zulke zoekfuncties zouden kunnen vinden.

Het is belangrijk om te beseffen dat LLM’s toestaan je content te lezen, niet hoeft te betekenen dat ze die ook gebruiken voor training. In dit bericht volgt hoe een website zo te optimaliseren dat AI-modellen niet op de content mogen trainen, terwijl die nog wel zichtbaar blijft in AI-zoekopdrachten.

ChatGPT answering who Ronan Hoogmoed is

Gevonden worden

Alle grote AI-modellen halen informatie op en trainen automatisch op je content, tenzij anders aangegeven. Gelukkig is op een gegeven moment de robots.txt-standaard geïntroduceerd, die aangeeft tot welke delen van je website bots wel en geen toegang hebben. Hoewel niet iedereen dit respecteert, respecteren de meeste AI-labs deze permissies over het algemeen wel.

ChatGPT maakt gebruik van OAI-SearchBot, die automatisch aanneemt dat hij toestemming heeft. Standaard betekent dit toestemming voor modeltraining, waardoor alle content op je website gebruikt kan worden om hun producten te verbeteren. Om dit te voorkomen, blokkeer je GPTBot in het robots.txt-bestand. Zo profiteer je van search zonder al je content beschikbaar te stellen voor datatraining. Voor Claude wordt zoektoegang gegeven via Claude-User en Claude-SearchBot, terwijl ClaudeBot geblokkeerd moet worden als je wilt voorkomen dat er met je content wordt getraind.

Google vereist toegang voor GoogleBot om gebruikers van content te voorzien, terwijl Google-Extended gebruikers toestaat deze data te manipuleren. Google-Extended laat Google echter ook toe om modellen op deze data te trainen. Een vierde crawler om te targeten is Perplexity, die niet traint op gebruikersdata en toegang nodig heeft voor PerplexityBot en Perplexity‑User, opnieuw standaard actief.

Wil je dus zichtbaar zijn voor AI maar niet dat modellen op je content trainen, dan zet het blokkeren van GPTBot, ClaudeBot en Google-Extended je al een eind op weg om training door gangbare providers te vermijden.

Aangeraden AI-zoekinstellingen voor OpenAI, Anthropic, Google en Perplexity

Als algemener advies: LLM’s zijn meer geneigd tot pagina’s met externe links. Link naar bronnen, of begeleid dat met andere pagina’s.

Lees ook

Duurzaam AI voor datakwaliteit bij Triodos Bank

Ontwerpen van een value-driven dataplatform met AI-assistenten om datakwaliteit te verbeteren, energieverbruik te verlagen en menselijke regie centraal te houden.

Checklist

Hieronder staat een eenvoudige checklist die je kunt gebruiken om ervoor te zorgen dat je gevonden wordt in deze “nieuwe manier van zoeken”, zonder al je informatie vrijelijk weg te geven zodat modellen erop kunnen trainen. Je kunt ook de info uit deze robots.txt overnemen; dat zorgt ervoor dat AI-training geblokkeerd is, terwijl je nog steeds vindbaar blijft in zoekopdrachten.