Wskaźniki widoczności w wyszukiwaniu AI: praktyczny przewodnik po pomiarze

Zbuduj zestaw promptów do wielokrotnego użytku

Zacznij od pytań, które kupujący może zadać, zanim pozna twoją markę. Pogrupuj je według intencji, na przykład rozeznania w kategorii, rozwiązywania problemów, porównywania ofert, wdrożenia i pytań wprost o markę. Prompty zawierające nazwę marki trzymaj w osobnej grupie, żeby nie zawyżały wyniku dla pytań bez tej nazwy.

Nie istnieje uniwersalny podział na rodzaje promptów. Lokalna firma usługowa, dostawca oprogramowania i sklep internetowy mają różne ścieżki zakupowe. Zapisz, dlaczego uwzględniasz każdy prompt, jakiego odbiorcę reprezentuje oraz jakiego rynku lub języka dotyczy.

Ustal zestaw na cały okres raportowania. Jeśli dodasz lub usuniesz prompty, pokaż tę zmianę, zamiast bezpośrednio porównywać nowy wynik ze starym.

Dla każdego uruchomienia zachowaj dokładną treść promptu, otrzymaną odpowiedź, cytowane adresy URL, silnik, datę, lokalizację, stan zalogowania oraz model lub tryb produktu, jeśli interfejs je ujawnia. Jeśli pozwala na to budżet, uruchom ten sam zestaw więcej niż raz. Odpowiedzi asystentów mogą się zmieniać, więc pojedyncza odpowiedź jest obserwacją, a nie trwałą pozycją w rankingu.

Zastosuj prostą sekwencję diagnostyczną:

1. Czy wspomniano o marce?
2. Czy zacytowano jej własną domenę?
3. Czy cytowana strona potwierdzała odpowiedź?
4. Czy podane informacje o marce były poprawne i aktualne?
5. Czy nastąpiła mierzalna wizyta lub konwersja?

Każde pytanie wskazuje inny problem. Niewielki odsetek wzmianek może oznaczać słaby związek marki z daną kategorią. Wzmianki bez cytowań są powodem do przeglądu źródeł.

Niedziałające linki lub źródła, które nie potwierdzają twierdzeń, wymagają sprawdzenia stron i samych twierdzeń. Ruch, który nie przynosi wartościowych rezultatów, wskazuje na problem z analityką lub konwersją.

Stosuj wskaźniki o jasno określonych definicjach

Praktyczny raport nie potrzebuje czternastu nakładających się na siebie ocen. Zacznij od wskaźników, które twój zespół potrafi obliczyć i zweryfikować:

• Realizacja zestawu promptów: liczba prawidłowo wykonanych uruchomień podzielona przez liczbę zaplanowanych uruchomień.
• Odsetek wzmianek o marce: liczba prawidłowych odpowiedzi z nazwą marki podzielona przez liczbę prawidłowych odpowiedzi w tej samej grupie promptów.
• Odsetek cytowań domeny: liczba prawidłowych odpowiedzi cytujących domenę marki podzielona przez liczbę prawidłowych odpowiedzi w tej samej grupie.
• Odsetek cytowań potwierdzających twierdzenie: liczba sprawdzonych cytowań, w których strona docelowa potwierdza powiązane twierdzenie, podzielona przez liczbę wszystkich sprawdzonych cytowań.
• Odsetek poprawnych informacji: liczba sprawdzonych twierdzeń o marce uznanych za poprawne i aktualne podzielona przez liczbę wszystkich sprawdzonych twierdzeń.
• Struktura cytowanych adresów URL: strony i rodzaje stron pojawiające się w cytowaniach.
• Różnice między silnikami: różnice między porównywalnymi obserwacjami z poszczególnych silników. Opisuj je bez wnioskowania statystycznego, chyba że próba i metoda uzasadniają taką analizę.
• Wizyty z odesłań z AI: wizyty przypisane w narzędziu analitycznym do asystenta lub źródła wyszukiwania AI. Część wizyt nie będzie miała danych o źródle odesłania albo dane te będą niepełne.
• Powiązane wyniki biznesowe: leady, rejestracje, zakupy lub inne wybrane zdarzenia pochodzące z przypisanych wizyt. Podaj okno i model atrybucji.

Zawsze pokazuj mianowniki. Odsetek cytowań oparty na sześciu odpowiedziach nadających się do analizy nie powinien sprawiać wrażenia równie wiarygodnego jak wynik z większej, wielokrotnie badanej próby. Rozróżniaj też wzmiankę o marce od linku do jej domeny. Jedno nie dowodzi drugiego.

Unikaj jednej oceny zbiorczej, chyba że sposób ważenia wskaźników jest udokumentowany i pomaga podjąć konkretną decyzję. Ocena zbiorcza może ukryć właśnie ten problem, który zespół powinien rozwiązać.

Sprawdzaj cytowania i techniczne warunki widoczności

Otwórz każde cytowanie w próbie o rozsądnej wielkości i zapisz trzy wyniki: czy adres URL działa, czy strona potwierdza twierdzenie oraz czy informacje są aktualne. Przypadki budzące wątpliwości przekaż do sprawdzenia drugiej osobie. Działający link nie dowodzi, że odpowiedź poprawnie przedstawiła treść źródła.

Prowadź krótką listę faktów, które asystenci często podają błędnie, takich jak aktualne nazwy produktów, adres strony z cenami, obsługiwane regiony, dane kontaktowe i daty obowiązywania zasad. Oceniaj tylko informacje, które można sprawdzić w konkretnym źródle. Nie uzupełniaj luk domysłami.

Kontrole techniczne powinny opierać się na opublikowanych wymaganiach każdej platformy. Według Google strony muszą być zaindeksowane i kwalifikować się do wyświetlenia fragmentu, aby mogły pojawić się jako linki do źródeł w funkcjach wyszukiwania AI. Wytyczne Google nie wymagają specjalnych znaczników AI.

Wytyczne OpenAI dla wydawców wyjaśniają, jak OAI-SearchBot steruje wykrywaniem treści na potrzeby wyszukiwania w ChatGPT, niezależnie od ustawień GPTBot dotyczących treningu.

Sprawdzaj dyrektywy dla robotów, możliwość indeksowania, kanoniczne adresy URL, odpowiedzi serwera, widoczną treść stron i linki wewnętrzne. Używaj danych strukturalnych tylko wtedy, gdy odpowiadają treści widocznej dla czytelników i są zgodne z właściwą dokumentacją wyszukiwarki. Takie kontrole poprawiają warunki widoczności i przejrzystość treści.

Nie gwarantują jednak uwzględnienia strony ani jej zacytowania.

Wybieraj narzędzia według metody pomiaru, nie według oceny

Zakres działania narzędzi i funkcje produktów szybko się zmieniają. Oceniaj ich aktualne możliwości, zamiast polegać na starej tabeli porównawczej. Poproś każdego dostawcę o pokazanie:

• jakie silniki, rynki, języki i tryby produktów obejmuje narzędzie;
• jak planowane są uruchomienia promptów i czy można je powtarzać;
• pełnych odpowiedzi i cytowań, na których opiera się każda ocena;
• jak obsługiwane są nieudane uruchomienia, brakujące cytowania i powtarzające się źródła;
• czy wyniki można wyeksportować wraz ze znacznikami czasu i wersjami promptów;
• co się zmienia, gdy silnik aktualizuje model lub interfejs;
• aktualnych warunków przechowywania danych, prywatności i rozliczeń.

Przed podjęciem zobowiązania przeprowadź niewielki test akceptacyjny. Wprowadź do każdego narzędzia ten sam zestaw promptów i ręcznie sprawdź próbę zapisanych odpowiedzi oraz linków. Jeśli platforma pokazuje tylko ocenę, bez stojących za nią danych, trudno ją zweryfikować i słabo nadaje się do podejmowania decyzji.

Do ustalenia punktu odniesienia wystarczy arkusz kalkulacyjny. Automatyzacja przydaje się wtedy, gdy zachowuje surowe dane, konsekwentnie powtarza metodę i ogranicza pracę przy zbieraniu wyników, nie ukrywając błędów. Nawet przy automatycznym zbieraniu danych zarezerwuj czas analityka na sprawdzanie cytowań i faktów.

Ostrożnie interpretuj różnice między silnikami

Różni asystenci mogą udzielać różnych odpowiedzi ze względu na odmienne systemy wyszukiwania informacji, indeksy, interfejsy, modele, personalizację i dostępność wyszukiwania. Traktuj te różnice jako powód do sprawdzenia danych, a nie dowód, że dany silnik na stałe preferuje określony rodzaj źródeł.

Porównuj podobne warunki. W miarę możliwości stosuj identyczne brzmienie promptu, rynek, język, okres i stan zalogowania. Pokaż wyniki każdego silnika osobno, zanim przedstawisz wynik łączny.

Jeśli produkt nie podaje cytowań przy odpowiedzi, zapisz ten fakt, zamiast zgadywać, jakie źródło na nią wpłynęło.

Dane porównawcze dla branży mogą pomóc sformułować pytania, ale nie zastępują własnego punktu odniesienia. Zanim z nich skorzystasz, sprawdź zestaw promptów, daty zbierania danych, dobór próby, obszar geograficzny, konfigurację silnika oraz definicję wzmianki i cytowania. Ocen różnych dostawców nie można bezpośrednio porównywać, jeśli stosują różne metody.

Gdy wynik się zmienia, przejrzyj odpowiedzi i cytowane adresy URL. Wyższy odsetek wzmianek może nadal iść w parze z błędnymi twierdzeniami. Niższy odsetek cytowań może wynikać ze zmiany interfejsu, nieudanego zbierania danych albo rzeczywistej zmiany wykorzystywanych źródeł.

Surowe dane pozwolą ocenić, które wyjaśnienie jest prawdopodobne.

Łącz widoczność z decyzjami, nie przypisując jej nieudowodnionego wpływu

Wzmianka jest przydatną informacją o obecności marki, ale nie dowodzi jej autorytetu ani tego, że przyniosła ruch czy przychody. Cytowanie mocniej wskazuje, że strona została przedstawiona jako źródło, lecz nadal nie dowodzi, że ktoś kliknął link lub dokonał konwersji.

W narzędziu analitycznym zapisuj wizyty z odesłań, w których można rozpoznać źródło AI. Przypisz do nich te same zdarzenia dotyczące leadów, rejestracji lub zakupów, których używasz w innych kanałach. Udokumentuj model i okno atrybucji.

Niektórzy użytkownicy wrócą przez wejście bezpośrednie lub inny kanał, a część asystentów nie przekaże przydatnej informacji o źródle odesłania. Raportowane wizyty z AI są więc obserwowalną częścią ruchu, a nie pełną liczbą.

Gdy zmieniasz treść lub ustawienia techniczne, zapisz datę zmiany i zachowaj stały zestaw promptów. Porównaj obserwacje sprzed zmiany i po niej, a następnie sprawdź aktualizacje produktów, sezonowość, kampanie i inne możliwe wyjaśnienia. Korelację nazywaj korelacją.

Kontrolowany eksperyment może uzasadniać mocniejszy wniosek, ale sam trend na panelu nie wystarczy.

Raport powinien kończyć się działaniami wynikającymi z danych. Napraw niedziałające strony, skoryguj twierdzenia bez potwierdzenia w źródłach, zaktualizuj nieaktualne fakty, ulepsz strony już cytowane w odpowiednich kontekstach i zbadaj grupy promptów, w których regularnie pojawiają się błędy rzeczowe. Nie obiecuj wzrostu liczby cytowań.

Zmierz kolejną próbę i pokaż, co się zmieniło.