Czy AI może odczytać moją stronę?

Czy AI może odczytać moją stronę? Porównaj tekst w surowym HTML, nagłówki, linki i dane strukturalne otrzymywane przez roboty. Sprawdź reguły dostępu i wykryj strony, których treść tworzy JavaScript.

Bezpłatnie, bez konta. Dziesięć kontroli na godzinę łącznie w narzędziach sprawdzających czytelność dla AI, wersję mobilną i technologie.

Wysyłamy adres do naszego API, aby przeprowadzić tę kontrolę. Wyniki mogą być przechowywane w pamięci podręcznej przez pięć minut.

Roboty AI czytają HTML wysyłany przez serwer. W badaniu Vercel z grudnia 2024 roboty używane przez ChatGPT, Claude i Perplexity nie uruchamiały JavaScript, więc nie widziały tekstu dodawanego przez skrypty. Podaj adres strony, aby pobrać ją jako cztery roboty AI i przeglądarka. Zobaczysz tekst, nagłówki i linki otrzymane przez każdego z nich.

Jak korzystać z tego narzędzia

Pięć żądań do jednej strony
Nasz serwer pobiera stronę jako GPTBot, ClaudeBot, PerplexityBot i OAI-SearchBot, używając identyfikatorów user agent publikowanych przez ich operatorów, a także jako przeglądarka Chrome na komputerze. Każde żądanie przechodzi przez maksymalnie trzy przekierowania i pobiera najwyżej 3 MB.
Najpierw robots.txt
Przed wysłaniem żądania jako robot czytamy plik robots.txt witryny. Jeśli robots.txt blokuje robota, nie wysyłamy go na stronę i pokazujemy regułę, która go blokuje.
Dyrektywy strony i llms.txt
Przy każdym robocie pokazujemy ograniczające dyrektywy meta robots i X-Robots-Tag oraz dokumentację jego identyfikatora user agent. noai i noimageai to niestandardowe żądania. Sprawdzamy llms.txt jako drugorzędny, dobrowolny sygnał. Nie mierzymy udziału wyrenderowanego tekstu; liczbę słów porównujemy z surowym HTML pobranym dla przeglądarki na komputerze.
Bez uruchamiania JavaScript
Tekst, nagłówki, linki, tytuł, opis i JSON-LD pochodzą dokładnie z HTML wysłanego przez serwer. Nie uruchamiamy niczego na stronie. Tak samo strony czytały roboty uwzględnione w badaniu Vercel.
Jak oceniamy wynik
Czytelna: dotarło co najmniej 40 słów i nic nie wskazuje, że reszta treści wymaga JavaScript. Częściowo czytelna: strona ma mniej niż 150 słów i oznaki tworzenia treści przez skrypt albo zawiera mniej niż połowę słów dostępnych w wersji dla przeglądarki. Pusta powłoka: brak czytelnych słów, choć są skrypty, albo mniej niż 40 słów oraz pusty element główny aplikacji, komunikat o JavaScript lub rozbudowane skrypty osadzone w HTML. Zablokowana: robots.txt, odmowa dostępu lub weryfikacja antybotowa zatrzymały robota.

Źródło informacji o tym, co uruchamiają roboty: Vercel, „The rise of the AI crawler”, 17 grudnia 2024. Badane roboty OpenAI, Anthropic, Meta, ByteDance i Perplexity nie uruchamiały JavaScript.

Pytania o to narzędzie

W badaniu Vercel „The rise of the AI crawler” (17 grudnia 2024) żaden z głównych robotów AI nie renderował JavaScript, w tym OAI-SearchBot, ChatGPT-User i GPTBot od OpenAI, ClaudeBot od Anthropic oraz PerplexityBot. ChatGPT i Claude pobierały pliki JavaScript, ale ich nie uruchamiały. Gemini korzysta z infrastruktury Googlebot, która renderuje JavaScript. Działanie robotów może się zmienić, więc po przebudowie strony wykonaj test ponownie.

Przeglądarka uruchamia skrypty strony, które tworzą tekst po jej załadowaniu. Robot, który nie uruchamia skryptów, widzi tylko początkowy HTML. W aplikacji renderowanej po stronie klienta zawiera on pusty kontener. Renderowanie na serwerze, generowanie statyczne lub prerenderowanie umieszcza gotowy tekst już w tym HTML.

Niektóre witryny wysyłają robotom wstępnie wyrenderowaną wersję strony, a przeglądarkom stronę budowaną przez skrypty. Test sygnalizuje to, gdy robot otrzymuje co najmniej 150 słów, a wersja dla przeglądarki mniej niż 40. Zadbaj o to, by obie wersje zawierały zasadniczo tę samą treść. Wyszukiwarki uznają pokazywanie różnych treści robotom i ludziom za cloaking.

Zapora sieciowa lub usługa ochrony przed botami może odrzucić żądanie albo wyświetlić stronę weryfikacyjną, zanim dotrze ono do witryny. Zezwól na tego robota w ustawieniach usługi, na przykład w ustawieniach botów Cloudflare. Nasze żądania pochodzą z jednego serwera, więc blokada w tym teście mocno sugeruje, choć nie dowodzi, co otrzymuje rzeczywisty robot.

Nie. Pokazuje tylko, co robot może odczytać na jednej stronie. To, czy asystent wymienia twoją firmę, zależy od wielu innych źródeł. Bezpłatny skan widoczności AI sprawdza rzeczywiste odpowiedzi.

Powiązane narzędzia

  • Sprawdź technologie użyte na stronie

    Sprawdź, jakich technologii używa strona, na podstawie widocznych oznaczeń i DNS. Zobacz ujawnione wersje i dowody, a potem porównaj dwie strony, w tym informacje o dostępie robotów AI.

  • Sprawdzanie dostępu robotów AI

    Sprawdź reguły robots.txt, sygnały dotyczące indeksowania i odpowiedzi HTTP. Zobacz, co blokuje dostęp robotom AI, zanim zmienisz reguły swojej strony.

  • Generator i walidator llms.txt

    Użyj tego generatora llms.txt, aby stworzyć edytowalny plik na podstawie strony internetowej, mapy witryny XML lub wklejonej listy stron. Uporządkuj sekcje, sprawdź opisy, a potem skopiuj lub pobierz plik Markdown.

Sprawdź swoją firmę w odpowiedziach AI

Strona czytelna dla robotów to punkt wyjścia. Bezpłatny skan widoczności AI pokazuje, jak asystenci odpowiadają na pytania o twoją firmę i nad czym warto dalej pracować.

Uruchom bezpłatny skan widoczności AI