Fino alla settimana scorsa, gestire i crawler AI nel robots.txt era un’operazione binaria: blocchi tutto o lasci passare tutto. Dal 20 febbraio 2026, Anthropic ha cambiato le regole del gioco separando i propri crawler in tre bot distinti, ciascuno con uno scopo preciso e conseguenze diverse se lo blocchi.
Per le PMI italiane che stanno investendo nella visibilità nelle ricerche AI, questa novità introduce una scelta strategica che prima non esisteva. Vediamo i dettagli.
I tre bot di Claude: cosa fanno e cosa succede se li blocchi
Anthropic ora utilizza tre user-agent separati nel robots.txt:
| Bot | Scopo | Se lo blocchi |
|---|---|---|
| ClaudeBot | Raccoglie contenuti web per addestrare i modelli AI di Anthropic | I tuoi contenuti futuri saranno esclusi dai dataset di addestramento |
| Claude-User | Recupera pagine quando un utente chiede a Claude informazioni su un URL | Claude non potrà accedere ai tuoi contenuti in risposta alle domande degli utenti |
| Claude-SearchBot | Indicizza contenuti per ottimizzare i risultati di ricerca di Claude | Il tuo sito avrà meno visibilità nei risultati di ricerca di Claude |
La struttura ricalca quella che OpenAI ha introdotto a fine 2024, separando GPTBot (addestramento), ChatGPT-User (navigazione utente) e OAI-SearchBot (indicizzazione per la ricerca). Anche Google offre una separazione simile con Google-Extended, che permette di escludersi dall’addestramento di Gemini restando indicizzati su Google Search.
Il dato che rende questa scelta delicata
Uno studio pubblicato a gennaio 2026 da Rutgers Business School e Wharton School ha misurato l’impatto reale del blocco dei crawler AI: i publisher che hanno bloccato i bot AI via robots.txt hanno visto il traffico totale calare del 23%.
Attenzione: non il traffico da AI, il traffico totale. Questo succede perché bloccare i crawler AI riduce la visibilità del sito nelle risposte AI, che a loro volta generano segnali di autorità e scoperta che influenzano anche i canali tradizionali.
Un altro dato di contesto viene da Hostinger, che ha analizzato 66,7 miliardi di richieste bot: la copertura del crawler di ricerca di OpenAI è passata dal 4,7% a oltre il 55% dei siti nel loro campione, mentre il crawler di addestramento è sceso dall’84% al 12%. I siti stanno permettendo l’indicizzazione per la ricerca AI bloccando l’addestramento. È un compromesso che funziona.
Le tre strategie possibili per una PMI
1. Blocca l’addestramento, tieni la visibilità (consigliato)
Blocchi ClaudeBot e GPTBot (addestramento), ma permetti Claude-SearchBot, Claude-User, OAI-SearchBot e ChatGPT-User. In questo modo: i tuoi contenuti non finiscono nei dataset di training, il tuo sito resta visibile quando gli utenti cercano informazioni via Claude o ChatGPT, e mantieni la possibilità di essere citato nelle risposte AI.
Nel robots.txt la configurazione sarebbe:
# Blocca addestramento AI
User-agent: ClaudeBot
Disallow: /
User-agent: GPTBot
Disallow: /
# Permetti ricerca e navigazione AI
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-User
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /2. Permetti tutto (massima visibilità)
Nessun blocco. I tuoi contenuti vengono usati sia per l’addestramento sia per la ricerca. Massima visibilità possibile nelle risposte AI, al prezzo di cedere i contenuti per il training dei modelli. Per molte PMI che producono contenuti informativi e vogliono massimizzare la scoperta, questa è una scelta legittima.
3. Blocca tutto (massima protezione)
Blocchi tutti i bot AI. I tuoi contenuti restano fuori dall’addestramento e fuori dalle risposte AI. Protegge la proprietà intellettuale, ma riduce la visibilità nel canale a più rapida crescita. I dati Rutgers/Wharton suggeriscono che questa scelta può costare fino al 23% del traffico complessivo.
Perché conta adesso
Due fattori rendono questa scelta urgente.
Il primo: il traffico referral da AI, per quanto piccolo in volume (sotto il 2% del totale secondo gli ultimi dati), è in crescita dell’80% semestre su semestre. E converte a tassi molto alti, fino al 18% secondo uno studio Search Engine Land su 13 mesi di dati. Bloccare i crawler AI oggi significa rinunciare a un canale che sarà significativo domani.
Il secondo: con Gemini che alimenta sia Google Search sia Siri, e con le AI Overviews presenti nel 15-20% delle ricerche italiane, la separazione tra “SEO tradizionale” e “visibilità AI” diventa sempre più sfumata. Gestire i crawler AI è parte integrante della SEO per PMI nel 2026.
Come verificare la configurazione attuale
Tre controlli da fare adesso:
1. Visita tuodominio.it/robots.txt nel browser. Se non vedi nessuna direttiva specifica per i bot AI, significa che tutti i crawler hanno accesso libero (incluso l’addestramento).
2. Controlla se il tuo plugin SEO gestisce i crawler AI. Rank Math e Yoast non aggiungono direttive AI di default. Devi inserirle manualmente nella sezione robots.txt del plugin o nel file fisico sul server.
3. Verifica su Google Search Console che le direttive non blocchino accidentalmente Googlebot. Un errore comune: usare User-agent: * con Disallow: / pensando di bloccare solo i bot AI, bloccando invece tutti i crawler incluso Google.
Domande frequenti
Devo aggiornare il robots.txt del mio sito dopo questa novità di Anthropic?
Se non hai mai toccato il robots.txt per i crawler AI, il tuo sito è già accessibile a tutti i bot, inclusi quelli di addestramento. Se vuoi controllare chi accede ai tuoi contenuti, sì: è il momento di configurare le direttive in modo granulare.
Bloccare i crawler AI peggiora il posizionamento su Google?
No, bloccare i crawler AI non influenza direttamente il ranking su Google. Googlebot e i bot AI sono sistemi separati. Però i dati suggeriscono che perdere visibilità nelle risposte AI può ridurre il traffico complessivo del 23%, il che indirettamente potrebbe influenzare i segnali di popolarità.
Qual è la differenza tra Google-Extended e Googlebot?
Google-Extended controlla se i tuoi contenuti vengono usati per addestrare Gemini e altri modelli AI di Google. Googlebot controlla la scansione e l’indicizzazione per Google Search. Puoi bloccare Google-Extended senza influenzare la tua presenza nei risultati di ricerca.
Come faccio a sapere quali bot AI visitano il mio sito?
Controlla i log del server cercando gli user-agent: ClaudeBot, GPTBot, Claude-SearchBot, OAI-SearchBot, ChatGPT-User, Google-Extended, CCBot. In alternativa, servizi come Cloudflare mostrano il traffico bot nella dashboard di analytics.
Vuoi verificare come il tuo sito è configurato per i crawler AI e come il tuo brand appare nelle risposte di Claude, ChatGPT e AI Overviews? Un Audit Visibilità AI include l’analisi completa della configurazione e 50+ query nel tuo settore.
