Come utilizzare il file robots.txt

Il file robots.txt è un semplice file di testo (senza alcuna formattazione) utilizzato dai siti web per comunicare con i crawler dei motori di ricerca (come Googlebot, Bingbot, ecc.). Serve principalmente a controllare l’accesso dei bot a determinate aree del sito.

Dev’essere posizionato nella cartella principale (root) del sito.

A cosa serve il file robots.txt?

1. Limitare l’accesso a certe pagine o cartelle del sito.
   Ad esempio, per impedire l’indicizzazione di aree private o non rilevanti (come /admin, /cgi-bin/, ecc.).
2. Ottimizzare il crawl budget, cioè evitare che i motori di ricerca sprechino tempo su pagine che non devono essere indicizzate.
3. Consentire o bloccare specifici bot (user-agent).
   Si può permettere a Googlebot di accedere a tutto e bloccare altri bot, se necessario.

Esempio di file robots.txt

User-agent: *
Disallow: /admin/
Disallow: /*.pdf$
Allow: /public/

Sitemap: https://www.nomedominio.it/sitemap.xml

• User-agent: * → significa che le direttive successive si applicano a tutti i bot. Se al posto dell’asterisco si indica il nome di uno user-agent, le direttive saranno valide solo per quel bot. Vedi più oltre nell’articolo l’elenco degli user-agent ammessi.
• Disallow: /admin/ → richiede al bot di non scansionare la cartella /admin/.
  La barra iniziale indica che si parte dalla root del sito, non sono ammessi indirizzi assoluti.
  La barra finale indica di non scansionare il contenuto della cartella
  E’ possibile indicare una cartella, come nell’esempio, oppure un singolo file.
  Possono essere usate più direttive Disallow, una per ogni riga.
  La direttiva Disallow: (senza specifica di cartelle o file) non blocca nulla, è utile se si vuole indicizzare tutto il sito.
  La direttiva Disallow: / blocca l’intero sito.
• Disallow: /*.pdf$ Blocca tutti i file PDF (alcuni crawler, tra cui Bingbot, non supportano i caratteri jolly).
• Allow: /public/ → consente esplicitamente l’accesso alla cartella /public/. Questa direttiva non è indispensabile, in quanto i bot scansionano tutto ciò che non è esplicitamente vietato con la direttiva Disallow
• Sitemap: → indica dove si trova la il file sitemap XML del sito. In questo caso si deve usare l’indirizzo assoluto (comprensivo di http/https e nome dominio).

Elenco dei principali User-agent (crawler) utilizzabili nel file robots.txt

Limitare la scansione del sito tramite il file robots.txt

User-agent: *

Request-rate: 1/5              # Visita al massimo una pagina ogni 5 secondi
Visit-time: 0600-0845          # Visita soltanto tra le 6:00 AM e le 8:45 AM (GMT)

Da sapere

• Non si deve usare robots.txt per proteggere i contenuti sensibili, perché è un file pubblico e chiunque può leggerlo. Se si vogliono proteggere informazioni riservate, si deve usare l’autenticazione o blocchi lato server.
• I bot potrebbero ignorare le indicazioni presenti nel file robots.txt e scansionare anche le cartelle e i file “disallowed”.
• Se una pagina sottoposta a scansione contiene un link ad una pagina “disallowed” nel file robots.txt, quest’ultima potrebbe comunque essere scansionata ed indicizzata, a causa del link.

Controllare se la sintassi del file robots.txt è corretta

Per controllare se il tuo file robots.txt contiene errori si può utilizzare Google Search Console:

• accedere a Google Search Console;
• Se si hanno più proprietà, selezionare nel menu a tendina in alto a sinistra la proprietà di interesse;
• Selezionare nel menu di sinistra la voce Impostazioni;
• la prima riga della sezione Scansione riguarda il file robots.txt della proprietà selezionata. Verificare se Google ha individuato errori presenti nel file.