Googlebot: robot wyszukiwarki, za którego odpowiada Google
Googlebot to robot wyszukiwarki. Czyta strony, aby tworzyć indeks, z którego korzysta Google Search i AI Overviews. Za robota odpowiada Google.
W skrócie
- Podmiot prowadzący stronę
- nazwa robota w robots.txt
Googlebot- Zastosowanie
- Wyszukiwanie. Roboty wyszukiwarek czytają strony, aby zbudować indeks, który asystent przeszukuje podczas udzielania odpowiedzi. Strony, której nie mogą odczytać, nie znajdą ani nie zacytują w tych odpowiedziach.
- Do czego służy
- Google Search i AI Overviews
Co zmienia zablokowanie
Jeśli Googlebot nie ma dostępu do twoich stron, Google Search i AI Overviews nie może ich znaleźć ani cytować w odpowiedziach wyszukiwania.
Reguły robots.txt: Googlebot
robots.txt to zwykły plik tekstowy w katalogu głównym witryny (yoursite.com/robots.txt). Grupa zaczyna się od jednego lub kilku wierszy User-agent z nazwami robotów, po których następują reguły Allow i Disallow dla ścieżek. Robot wymieniony w grupie stosuje reguły grup, w których podano jego nazwę, i ignoruje grupę ogólną dla wszystkich robotów (User-agent: *).
Aby zezwolić na dostęp
User-agent: Googlebot
Allow: /Aby zablokować dostęp
User-agent: Googlebot
Disallow: /Czy ma dostęp do twojej strony?
Test odczytuje tylko reguły robots.txt, aby sprawdzić, czy Googlebot ma dostęp. Nie wysyła żądania z jego identyfikatorem.