Cookie su AIGROW

Usiamo i cookie necessari per far funzionare il sito. Con il tuo consenso usiamo anche cookie per analisi statistiche, registrazioni delle sessioni e attribuzione del marketing.

Cookie Policy

Configurazione dell’accesso dei crawler AI: robots.txt, regole CDN e sitemap impostati perché i crawler AI che scegli possano leggere il tuo sito

290 €Prezzo fisso, pagato una sola voltaReport entro 5 giorni lavorativi dall’accesso

Ordina a 290 €Come funziona

Gli stessi controlli prima e dopo, e di nuovo dopo 30 giorni. Consegna come da elenco, oppure rimborso completo.

AIGROW configura l’accesso dei crawler AI su un sito web per 290 € una tantum. Verifichiamo cosa possono raggiungere i principali crawler AI di ricerca e di addestramento attraverso robots.txt, regole di CDN e firewall, reindirizzamenti e HTML, impostiamo le regole secondo le tue scelte, correggiamo la sitemap, la inviamo a Bing e IndexNow e ripetiamo i controlli dopo 30 giorni.

Cosa comprende il servizio e cosa no

Un sito può sembrare perfetto in un browser e comunque respingere i crawler AI: una vecchia regola di robots.txt copiata da un altro sito, un’impostazione di CDN o firewall per i bot AI, testo che compare solo dopo l’esecuzione di JavaScript, oppure una sitemap difettosa. Alcuni crawler recuperano le pagine per la ricerca e le risposte AI, altri le raccolgono per addestrare i modelli AI, e sei tu a scegliere quali far entrare.

Cosa fa
  • Verifica cosa possono raggiungere i principali crawler AI su un massimo di 10 pagine: quelli che recuperano pagine per la ricerca e le risposte AI, come OAI-SearchBot, Claude-SearchBot e PerplexityBot, e quelli di addestramento, come GPTBot, ClaudeBot e CCBot
  • Legge il tuo robots.txt, le regole della CDN o del firewall per i bot, lo stato HTTP e i reindirizzamenti di ogni pagina, e se il testo principale è nell’HTML prima dell’esecuzione di JavaScript
  • Annota la tua scelta in una scheda decisionale: quali crawler consentire per ricerca e risposte e quali crawler di addestramento bloccare, dopo che ti abbiamo spiegato i pro e i contro in parole semplici
  • Imposta robots.txt e la regola della CDN come hai scelto e corregge la sitemap XML, con l’accesso che ci dai, oppure invia i file e i passaggi esatti al tuo sviluppatore
  • Invia la sitemap a Bing Webmaster Tools e a IndexNow dove ci dai accesso, e aggiunge un file llms.txt se lo desideri
  • Ripete gli stessi controlli dopo le modifiche e di nuovo dopo 30 giorni
Cosa non fa
  • Non decide al posto tuo quali crawler consentire: noi spieghiamo, tu scegli
  • Non promette che un assistente AI ti citi, ti menzioni o ti raccomandi, né alcun posizionamento
  • Non ricostruisce il tuo sito: se il testo principale compare solo dopo JavaScript, lo segnaliamo e annotiamo cosa deve cambiare il tuo sviluppatore
  • Non ferma i crawler che ignorano robots.txt: una regola esprime una tua preferenza, e alcune richieste fatte per conto di un utente non la seguono
  • Non richiede la tua password: inviti hello@aigrow.gg oppure crei per questo indirizzo un utente temporaneo, che viene rimosso dopo il report

Dal pagamento al nuovo controllo

Ogni passaggio e quando avviene. Sul tuo sito non cambia nulla prima che tu confermi le tue scelte per iscritto.

Paga al checkoutPaghi una volta sola con carta tramite Stripe. Stripe ti invia la ricevuta.2 minuti
Rispondi e dacci accessoTi scriviamo subito dopo il pagamento. Rispondi indicando il tuo sito, la CDN o l’hosting e le tue pagine, poi invita hello@aigrow.gg oppure crea un utente temporaneo per questo indirizzo.15 minuti
Verifichiamo cosa raggiungono i crawlerPer ogni pagina e crawler registriamo la regola di robots.txt, l’impostazione della CDN, lo stato HTTP e i reindirizzamenti, e se il testo principale è nell’HTML. Poi ti inviamo la scheda decisionale con i pro e i contro spiegati.Entro 5 giorni lavorativiDall'accesso al report
Applichiamo le modifiche che hai sceltoImpostiamo robots.txt, la regola della CDN e la sitemap, aggiungiamo llms.txt se lo hai chiesto e inviamo la sitemap a Bing e IndexNow. Oppure mandiamo file e passaggi al tuo sviluppatore.Dopo il tuo OK scritto
Consulta il reportGli stessi controlli prima e dopo, pagina per pagina e crawler per crawler, poi rimuoviamo il nostro accesso. Dopo 30 giorni ripetiamo i controlli e ti inviamo il risultato.Con le modificheNuovo controllo a 30 giorni

Un sito web, le sue regole per i crawler, un solo prezzo

Si paga una sola volta al checkout, che richiede email e carta. Subito dopo il pagamento ti inviamo via email un breve questionario e le istruzioni per darci accesso senza password; il report arriva entro 5 giorni lavorativi dall’accesso.

Cosa ci serve da te

Rispondi al nostro questionario indicando il tuo sito, la piattaforma, la CDN o l’hosting, fino a 10 pagine e le tue scelte. Poi invita hello@aigrow.gg al tuo account CDN, alla piattaforma o all’hosting del sito e a Bing Webmaster Tools, oppure crea un utente temporaneo per quell’indirizzo. Non inviare mai una password per email.

Cosa ricevi

  • Un controllo su un massimo di 10 pagine per ciascun principale crawler AI: robots.txt, regole di CDN e firewall, stato HTTP e reindirizzamenti, e testo principale nell’HTML
  • Una scheda decisionale con la tua scelta per i crawler di ricerca e risposte e per quelli di addestramento
  • robots.txt e regola della CDN impostati come hai scelto, oppure i file e i passaggi esatti per il tuo sviluppatore
  • La tua sitemap XML corretta e inviata a Bing Webmaster Tools e a IndexNow dove ci dai accesso
  • Un file llms.txt, se lo desideri
  • Un report con gli stessi controlli prima e dopo, entro 5 giorni lavorativi dall’accesso
  • Il nostro accesso rimosso dopo il report e un nuovo controllo dopo 30 giorni

Configurazione dell’accesso dei crawler AI

290 €

Paghi una sola volta al momento dell’acquisto. Nessun abbonamento, nessun rinnovo.

Se non consegniamo quanto indicato in questa pagina o cambi idea prima che inizi il lavoro, ricevi un rimborso completo.

Perché acquistarlo da AIGROW

Che cosa puoi verificare prima di pagare e dopo il lavoro.

Un prezzo fisso
290 €, pagato una sola volta. Nessun abbonamento, nulla si rinnova. Tutto ciò che è incluso è elencato in questa pagina prima del pagamento.
Prove verificabili
Il report mostra ogni pagina e ogni crawler prima e dopo: la regola di robots.txt applicata, l’impostazione della CDN, lo stato HTTP e se il testo principale è presente nell’HTML. Puoi eseguire lo stesso controllo anche da solo con il controllo gratuito dei crawler AI.
Un metodo pubblico
Il primo controllo puoi farlo da solo: il controllo gratuito dei crawler AI legge il tuo robots.txt e richiede una pagina come ciascun crawler, in pochi secondi e senza account. Avvia il controllo gratuito dei crawler AI

Prima di acquistare

Cosa controlliamo e cambiamo, e cosa il prezzo non promette.

Nessuno può prometterlo, e noi non lo facciamo. La configurazione fa in modo che le tue regole non respingano i crawler che hai scelto e che pagine e sitemap possano essere lette. Se un assistente usi o citi una pagina dipende dal suo gestore. Le linee guida per i webmaster di Bing dicono lo stesso di questo tipo di lavoro: non garantisce citazioni.

Alcuni crawler recuperano le pagine perché un assistente AI possa trovarle e citarle in una risposta, come OAI-SearchBot per la ricerca di ChatGPT, Claude-SearchBot e PerplexityBot. Altri raccolgono pagine per addestrare i modelli AI, come GPTBot, ClaudeBot e CCBot. OpenAI e Anthropic documentano un controllo separato per ciascuno, quindi puoi bloccare l’addestramento e consentire comunque la ricerca. Ti spieghiamo i pro e i contro, e la scelta spetta a te.

Una CDN o un firewall può bloccare i crawler AI con un'impostazione di cui magari non sai nulla. Cloudflare permette a ogni sito di consentire o bloccare i crawler AI per categoria, e i domini aggiunti dal 15 settembre 2026 bloccano per impostazione predefinita i crawler di addestramento e gli agenti sulle pagine che mostrano annunci. Vercel offre un set di regole firewall per i bot AI. Leggiamo l’impostazione che si applica al tuo sito.

llms.txt è una proposta di settembre 2024 per un file che indica ai modelli linguistici le pagine principali di un sito. Nessun grande assistente AI ha confermato di leggere il file, e Google afferma che la sua Ricerca lo ignora. Se ne vuoi uno, lo scriviamo a partire dalle tue pagine; se non lo vuoi, lo lasciamo fuori.

Bing afferma che la ricerca di Copilot si basa sulla stessa scansione e sulla stessa indicizzazione della ricerca di Bing, e che trova le pagine tramite sitemap XML e IndexNow. Perciò, dove ci dai accesso, inviamo la tua sitemap in Bing Webmaster Tools e trasmettiamo le tue pagine tramite IndexNow.

Te lo segnaliamo pagina per pagina. Le linee guida di Bing sconsigliano di nascondere contenuti importanti dietro il rendering lato client, e uno studio di Vercel e MERJ pubblicato a dicembre 2024 ha rilevato che i crawler di OpenAI, Anthropic e Perplexity non eseguivano JavaScript. Cambiare il modo in cui il tuo sito viene renderizzato è un lavoro di sviluppo che esula da questo intervento, quindi annotiamo che cosa deve modificare il tuo sviluppatore.

No, e non inviarla mai per email. Inviti hello@aigrow.gg come membro del tuo account CDN limitato a questo sito, come utente sulla piattaforma o sull’hosting del tuo sito e come utente in Bing Webmaster Tools. Dove una piattaforma non permette inviti, crei un utente temporaneo per hello@aigrow.gg e la piattaforma ci invia via email il link di accesso. Lo conserviamo nel nostro gestore di password e rimuoviamo l’accesso appena inviato il report.

Il report con i controlli prima e dopo arriva entro 5 giorni lavorativi dall’accesso; i giorni in cui attendiamo le tue scelte o il tuo sviluppatore non vengono conteggiati. I crawler recepiscono le modifiche con i loro tempi, e OpenAI afferma che una modifica al robots.txt può richiedere circa 24 ore per arrivare ai suoi sistemi, quindi ripetiamo gli stessi controlli 30 giorni dopo.

Vuoi sapere cosa dicono già di te gli assistenti?

L’audit di accuratezza AI chiede a ChatGPT, Claude, Gemini e Grok ciò che i clienti domandano sulla tua attività, segnala ogni risposta sbagliata confrontandola con i tuoi dati reali e redige il piano di correzione.

Scopri l’audit di accuratezza AI

Il servizio giusto per il passo successivo

390 €

Dati strutturati e pagine di risposta

Aggiungiamo il markup schema.org a un massimo di 20 pagine del tuo sito e scriviamo 5 pagine che rispondono alle domande dei clienti.

Scopri i dati strutturati e le pagine di risposta

Lascia che i crawler AI che scegli leggano il tuo sito.

Paga una sola volta, dacci accesso senza password, scegli quali crawler consentire e ricevi il report entro 5 giorni lavorativi dall’accesso.

Ordina a 290 €Scopri tutti i servizi chiavi in mano

290 € · pagamento una tantum · consegna di quanto indicato o rimborso