AI-crawlare: vad varje robot gör och vad som händer om du blockerar den

Crawlarna som läser webbplatser åt AI-assistenter: vem som driver dem, vad de bidrar till och vilka rader i robots.txt som tillåter eller blockerar dem.

AI-crawlare är robotar som läser webbplatser åt AI-assistenter. Sökcrawlare som OAI-SearchBot bygger indexet som en assistent citerar, crawlare för användarförfrågningar som ChatGPT-User öppnar en sida när någon ber om det, och träningscrawlare som GPTBot samlar in sidor till framtida modeller. Listan omfattar 27 crawlare, med robots.txt-regler för var och en.

Tre typer av AI-crawlare

Sökning
Sökcrawlare läser sidor för att bygga det index som en assistent söker i när den svarar. En sida de inte kan läsa kan inte hittas eller citeras i de svaren.
Användarförfrågan
Crawlare för användarförfrågningar öppnar en sida när någon ber en assistent att läsa den. Om de inte kan läsa sidan kan assistenten inte öppna den i samtalet.
Träning
Träningscrawlare samlar in sidor till framtida modeller. Att stänga ute dem stoppar inte de crawlare som hämtar sidor för att ge svar. De har egna namn.

Alla crawlare, grupperade efter vad de bidrar till

Varje namn är en robots.txt-token. Öppna en crawlare för att se dess användaragent och regler.

Sökcrawlare

SökrobotAnsvarig för webbplatsenVad den bidrar till
OAI-SearchBotOpenAIChatGPT-sökning
Claude-SearchBotAnthropicClaude-sökning
PerplexityBotPerplexityPerplexity
GooglebotGoogleGoogle Search och AI Overviews
BingbotMicrosoftBing och Copilot
ApplebotAppleSiri och Spotlight
DuckAssistBotDuckDuckGoSvar från DuckDuckGo
MistralAI-IndexMistralVibe-sökning
Meta-WebIndexerMetaMeta AI-sökning
Amzn-SearchBotAmazonAlexa-sökning
YouBotYou.comSvar från You.com

Crawlare för användarförfrågningar

SökrobotAnsvarig för webbplatsenVad den bidrar till
ChatGPT-UserOpenAIChatGPT
Claude-UserAnthropicClaude
Perplexity-UserPerplexityPerplexity
MistralAI-UserMistralVibe
Meta-ExternalFetcherMetaMeta AI
Amzn-UserAmazonAlexa

Träningscrawlare

SökrobotAnsvarig för webbplatsenVad den bidrar till
GPTBotOpenAIframtida OpenAI-modeller
ClaudeBotAnthropicframtida Claude-modeller
Google-ExtendedGoogleGemini-träning och faktaunderlag
Applebot-ExtendedAppleTräning av Apple Intelligence
MistralAI-TrainingMistralframtida Mistral-modeller
Meta-ExternalAgentMetaMeta AI
AmazonbotAmazonAmazons produkter och modeller
CCBotCommon Crawlden öppna datamängd som de flesta modeller tränas på
BytespiderByteDanceDoubao
cohere-aiCoheretidigare inställning i robots.txt

En mall för robots.txt

robots.txt är en vanlig textfil i en webbplats rotkatalog (yoursite.com/robots.txt). En grupp börjar med en eller flera User-agent-rader som namnger crawlare, följt av Allow- och Disallow-rader för sökvägar. En crawlare som namnges i en grupp följer grupperna där den namnges och ignorerar gruppen för alla crawlare (User-agent: *).

De här raderna släpper in alla crawlare som hämtar sidor för att ge svar. Träningscrawlarna står efter #-tecken. Du väljer själv om du vill släppa in dem.

Lägg till de här raderna i filen robots.txt i webbplatsens rotkatalog och ta bort eventuella grupper som blockerar dessa sökrobotar. En sökrobot som har en egen grupp följer bara den gruppen. Kopiera därför in de Disallow-rader som fortfarande ska gälla för den.

# Sökrobotar som hämtar sidor för att ge svar
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Googlebot
User-agent: Bingbot
User-agent: Applebot
User-agent: DuckAssistBot
User-agent: MistralAI-User
User-agent: MistralAI-Index
User-agent: Meta-WebIndexer
User-agent: Meta-ExternalFetcher
User-agent: Amzn-SearchBot
User-agent: Amzn-User
User-agent: YouBot
Allow: /

# Sökrobotar för träning: du väljer. Ta bort #-tecknen för att släppa in dem.
# User-agent: GPTBot
# User-agent: ClaudeBot
# User-agent: Google-Extended
# User-agent: Applebot-Extended
# User-agent: MistralAI-Training
# User-agent: Meta-ExternalAgent
# User-agent: Amazonbot
# User-agent: CCBot
# User-agent: Bytespider
# User-agent: cohere-ai
# Allow: /

Skapa en fullständig robots.txt för AI

Vilka av dem släpper din webbplats in?

robots.txt är ett sätt att stänga ute en crawlare. En inställning i ett CDN eller en brandvägg är ett annat, och webbplatsen kan ändå se ut som vanligt i webbläsaren. Den kostnadsfria kontrollen läser din robots.txt och begär din sida som varje crawlare på några sekunder.

Gör den kostnadsfria kontrollen av crawlare

Vi kan också kontrollera din robots.txt, dina CDN-regler och din sitemap åt dig och ställa in dem som du vill. Se konfigurationen av AI-crawlers åtkomst

Frågor om AI-sökrobotar

Båda drivs av OpenAI. OAI-SearchBot är en sökcrawlare som läser sidor åt ChatGPT-sökning. GPTBot är en träningscrawlare som samlar in sidor till framtida OpenAI-modeller. I robots.txt kan du blockera den ena och tillåta den andra.

Lägg till en grupp med namnet på en eller flera crawlare, följt av ”Disallow: /”. En crawlare som namnges i en grupp följer grupperna där den namnges. Reglerna för alla crawlare (User-agent: *) gäller då inte för den.

Träningscrawlare och crawlare som hämtar sidor för att ge svar har olika namn. En webbplats kan stänga ute träningscrawlarna och ändå släppa in dem som hämtar sidor för svar.

Den kostnadsfria kontrollen läser din robots.txt för alla 27 crawlare i listan och begär en sida som var och en av dem som har en användaragent. Sedan visar den vilka som släpps in och vilka som stängs ute.

Kan AI-assistenter läsa din webbplats?

Den kostnadsfria kontrollen ger svar på några sekunder, utan konto eller e-postadress.