Googlebot: crawler di ricerca gestito da Google

Googlebot è un crawler di ricerca. Legge le pagine per creare l’indice usato da questo prodotto: Google Search e AI Overviews. È gestito da Google.

In breve

Gestore
Google
Identificativo robots.txt
Googlebot
Scopo
Ricerca. I crawler di ricerca leggono le pagine per costruire l’indice che un assistente consulta quando risponde. Se non possono leggere una pagina, questa non può comparire né essere citata in quelle risposte.
Cosa alimenta
Google Search e AI Overviews

Effetti del blocco

Se blocchi Googlebot, le tue pagine non potranno comparire né essere citate nelle risposte di ricerca di questo prodotto: Google Search e AI Overviews.

Regole robots.txt per Googlebot

robots.txt è un file di testo semplice nella directory principale di un sito (yoursite.com/robots.txt). Un gruppo inizia con una o più righe User-agent che indicano i crawler, seguite da righe Allow e Disallow per i percorsi. Un crawler indicato in un gruppo segue i gruppi che lo nominano e ignora quello valido per tutti i crawler (User-agent: *).

Per consentire l’accesso

User-agent: Googlebot
Allow: /

Per bloccare l’accesso

User-agent: Googlebot
Disallow: /

Il tuo sito gli consente l’accesso?

Per Googlebot, il controllo dei crawler legge soltanto robots.txt e non invia richieste fingendosi quel crawler.

Controlla se il tuo sito consente l’accesso a Googlebot

Domande su Googlebot

Googlebot è un crawler di ricerca. Legge le pagine per creare l’indice usato da questo prodotto: Google Search e AI Overviews. È gestito da Google.

Solo se non vuoi che le tue pagine compaiano nelle risposte di ricerca di questo prodotto: Google Search e AI Overviews. Il blocco non riguarda i crawler con altri nomi.

Aggiungi un gruppo con il suo nome e una regola valida per tutti i percorsi: “User-agent: Googlebot”, seguita da “Disallow: /”. Per consentirgli l’accesso, scrivi invece “Allow: /”.