Se vi state chiedendo come ottimizzare i file robots.txt per la vostra installazione WordPress, probabilmente siete nel posto giusto. In questa guida veloce, vi spiegheremo cos’è un file robots.txt, perche è importante per migliorare il ranking SEO nella ricerca organica e come inviarlo a Google.

Cos’è un file robots.txt, devo preoccuparmi?

Un robots.txt, è un file che consente di negare l’accesso ai motori di ricerca a determinati file e cartelle. Lo si può utilizzare per bloccare i bot di Google, e di altri motori di ricerca, dal crawling delle pagine del proprio sito. Da notare che il robots.txt non è un file specifico di WordPress, ma può essere usato in qualsiasi sito web.

Questo è un esempio del file:

Quindi, negando l’accesso ai motori di ricerca come si fa a migliorare la SEO? Sembra controverso, ma basti pensare ad alcuni dettagli. Diverse pagine, in alcuni casi moltissime pagine del proprio sito web devono essere sottoposte a crawling.
Ad esempio, se nel proprio sito web si hanno diverse categorie e tag, la qualità dei contenuti sarà spesso bassa e dunque si spenderà inutilmente il proprio budget per il crawling, praticamente si esaurirà il numero di pagina che Google decide di volta in volta di scansionare
Il budget per il crawling è molto importante, perchè da quello Google raccoglie le modifiche ai siti web, e quindi quanto velocemente si viene aggiornati nell’indice e classificati nella SERP. Quindi una attenta gestione di tale budgnet non può fare altro che aiutare la SEO del proprio sito e/o E-Commerce.

Nturalmente invitiamo chiunque a fare attenzione se si decide di seguire i consigli riportati in questo articolo, se le cose non dovessero essere fatte nel modo corretto potreste addirittura danneggiare la vostra SEO attuale.

Come ottimizzare i file robots.txt di WordPress per migliorare la SEO?

Andiamo adesso più nello specifico e vediamo  creare e ottimizzare un file robots.txt su WordPress.
Il file robots.txt solitamente risiede nella cartella di root del tuo sito, cioè la parte identificata spesso con il solo simbolo /, ad esempio nel nostro caso la root del sito è https://www.ajepcom.it/.
Nel caso in cui il file robots.txt non dovesse esistere ancora nella cartella di root del tuo sito, sarà possibile crearlo facilmente in quanto non è altro che un semplice file di testo che potrete caricare ad esempio via FTP. Tutto ciò che bisogna fare è creare un nuovo file di testo nel proprio computer e salvarlo come robots.txt, quindi fare un upload nella cartella di root del tuo sito.

Il formato per un file robots.txt è semplice. Generalmente ogni riga è definita dalle voci campo : valore, dove il campo indica l’azione da effettuare o il riferimento da mantenere, mentre il valore indica la destinazione del campo.

La prima riga solitamente identifica lo User Agent.  Questi, definito dalla voce User-Agent, non è altro che il nome del bot di ricerca a cui si sta cercando di dare indicazioni. Per esempio Googlebot o Bingbot, oppure il simbolo asterisco (*) per dare le istruzioni a tutti i bot indistintamente.

La seconda riga e le successive esplicitate da Allow o Disallow indicano rispettivamente quali pagine si desidera indicizzare o non indicizzare. Queste righe conterranno diverse voci in base a cosa si vuole indicizzare o non indicizzare, ad esempio directory, file specifici, immagini o altro. Anche in questo caso con il simbolo * potremo indicare tutte le risorse del sito.

Infine la voce Sitemap indica una o più sitemap presenti nel sito.

Per esempio:

N.B. Se in WordPress si utilizzano dei plugin come Yoast WordPress SEO o All in One SEO, è probabile che non sia necessario inserire la sezione di Sitemap, in quanto viene fatto automaticamente.

Cosa dovrei disabilitare o non indicizzare?

Nelle linee guida per i webmaster di Google, consigliano ai webmaster di non utilizzare il proprio file robots.txt per nascondere contenuti di bassa qualità. Pertanto, l’utilizzo delfile robots.txt per impedire a Google di indicizzare categoria, data e altre pagine di archivio potrebbe non essere una scelta saggia.
E’ importante ricordare che lo scopo di robots.txt è di insegnare ai robot cosa fare con i contenuti che vengono sottoposti al crawling sul sito. Non impedisce loro di eseguire la scansione del tuo sito web nè tantomeno di indicizzarlo.

Inoltre, non è necessario aggiungere la pagina di accesso di WordPress, la directory di amministrazione o la pagina di registrazione a robots.txt perché le pagine di accesso e di registrazione hanno il tag noindex aggiunto automaticamente da WordPress.

Tuttavia, consigliamo, per questioni di sicurezza, di non consentire l’indicizzazione del file readme.html nel file robots.txt. Questo file readme può essere utilizzato da qualcuno che cerca di capire quale versione di WordPress si sta utilizzando.

Come si invia il file robots.txt WordPress a Google?

Dopo aver aggiornato o creato il file robots.txt, si può inviare a Google utilizzando Google Search Console. Tuttavia, è consigliato di verificarlo prima utilizzando lo strumento di test robots.txt di Google.

Conclusione

Questo articolo spiega brevemente cosa sia un file robots.txt di WordPress per una migliore SEO, e da le basi per le impostazioni senza dare dettagli in merito. Logicamente ogni sito ha le sue necessità e vi invitiamo a curare dettagliatamente le vostre. Per qualsiasi necessità potete sempre contattarci.

Ricordate infine di fare attenzione quando effettuare modifiche importanti al vostro sito tramite robots.txt. Sebbene queste modifiche possano migliorare il traffico di ricerca, possono anche causare più danni che benefici se si sta attenti.

Rispondi