Generatore di robots.txt con tester degli URL

A cosa serve il file robots.txt

Il robots.txt è un file di testo che si mette nella radice di un sito e che i motori di ricerca leggono prima di scansionare le pagine. Contiene gruppi di regole: ogni gruppo indica uno o più User-agent (il nome del crawler, oppure * per tutti) e una serie di righe Disallow e Allow con i percorsi che possono o non possono visitare. In fondo si può indicare dove si trova la sitemap. Il suo scopo pratico è risparmiare scansioni inutili su pagine che non hanno valore per la ricerca, come aree di amministrazione, carrelli, ricerche interne e filtri che generano migliaia di URL quasi identici.

Come usare il generatore

Scegli un modello (tutto consentito, WordPress, WooCommerce, sito in sviluppo da bloccare, crawler AI) e modificalo: aggiungi regole, cambia i percorsi, crea gruppi diversi per crawler diversi. Il testo a destra si aggiorna subito, con i controlli formali sotto. Se hai già un robots.txt, importalo, correggilo e verificalo. Poi scarica il file e caricalo nella cartella principale del sito. Se il sito è in WordPress, molti plugin SEO permettono di modificare il robots.txt dal pannello: puoi incollare qui il contenuto che hanno generato per controllarlo.

Come si leggono le regole: percorso, * e $

Un percorso Disallow: /privato/ blocca tutti gli indirizzi che iniziano con quel testo. Il carattere * sostituisce qualsiasi sequenza di caratteri: Disallow: /*?orderby= blocca gli URL che contengono quel parametro. Il simbolo $ indica la fine dell’indirizzo: Disallow: /*.pdf$ blocca i file che finiscono in .pdf ma non /guida.pdf?v=2. Se due regole si applicano allo stesso URL vince la più specifica, quella con il percorso più lungo, e a parità prevale Allow. Il tester qui sopra applica esattamente questo schema.

Modelli e quando usarli

• Consenti tutto: un file con Disallow: vuoto; equivale a non avere restrizioni e serve a evitare l’errore 404 sul file.
• WordPress: blocca /wp-admin/ lasciando aperto admin-ajax.php, che alcuni temi e plugin usano anche per le pagine pubbliche, e le pagine di ricerca interna.
• WooCommerce: aggiunge carrello, cassa e area personale, più i parametri che duplicano i prodotti (?add-to-cart=, ?orderby=). I percorsi usano i nomi italiani predefiniti: verifica che combacino con quelli del tuo sito.
• Blocca tutto: per siti di prova o in sviluppo. Va tolto alla pubblicazione, e conviene proteggere il sito di prova anche con password, perché il file da solo non basta.
• Blocca i crawler AI: un gruppo con gli user-agent dei principali bot di addestramento e ricerca di OpenAI, Anthropic, Google (Google-Extended), Apple, Perplexity, Common Crawl, ByteDance, Meta e Amazon, e il resto del sito aperto ai motori di ricerca.

Errori frequenti da evitare

Il più grave è lasciare Disallow: / dopo la pubblicazione: il sito sparisce progressivamente dalle scansioni. Poi c’è il blocco di CSS e JavaScript, che impedisce a Google di vedere la pagina come la vede l’utente. Un terzo errore è usare il robots.txt per togliere una pagina dai risultati: se la pagina è bloccata, Google non può leggere un eventuale noindex e l’indirizzo può restare in elenco. Per quel caso serve il tag meta robots. Infine, i percorsi sono sensibili a maiuscole e minuscole e vanno scritti con la barra iniziale.

Quello che il robots.txt non può fare

Non protegge nulla: è pubblico, e i bot che non lo rispettano lo ignorano. Non garantisce la rimozione dai risultati di ricerca. Non è letto allo stesso modo da tutti: Crawl-delay è considerato da Bing ma non da Google, e direttive come Host o Noindex dentro il file non sono più supportate da Google. Questo generatore le segnala quando le importa da un file esistente.

Privacy

Il file viene generato, importato e verificato nel tuo browser: non viene salvato né inviato a un server.

Domande frequenti