Scansione CSS e JS Attraverso Robots.txt

Poteva andar peggio, potevano comunicarcelo a ferragosto. Anche quest’anno Google ha pensato di allietarci l’ingresso nella pausa estiva terrorizzando a morte i nostri clienti e in genere le persone che seguiamo rispetto alla SEO. E va beh.

Prima di tutto vorrei condividere con te una riflessione. Non sarà per caso che lassù hanno deciso di cambiare qualcosa per cui Google ha più bisogno rispetto a prima di scansionare le pagine così come vengono viste dagli utenti? È probabile che questo fioccare di comunicazioni corrisponda ad un nuovo aggiornamento algoritmico in base al quale tra i fattori di ranking verrà data ancora più rilevanza alla user experience. Che ne pensi?

Basta seguire le istruzioni

Per tagliare subito la testa al toro, è sufficiente leggere bene il messaggio riportato nella e-mail che ti è arrivata (a me ne sono arrivate una buona ventina):

Procedura per la risoluzione di questo problema:

1) Individua le risorse bloccate

Utilizza la funzione “Visualizza come Google” per individuare le risorse bloccate da istruzioni del file robots.txt. Se Google non riesce a leggere tutto correttamente, comparirà la dicitura “parziale”.

2) Aggiorna il file robots.txt

Rimuovi le limitazioni sui file CSS e JavaScript del tuo sito dalle istruzioni del file robots.txt e testa le modifiche con lo strumento Tester dei file robots.txt. Aggiorna il file robots.txt modificato sul tuo sito e invialo a Search Console.

3) Convalida la correzione con la funzione “Visualizza come Google”

Recupera e visualizza la pagina con l’opzione “Dispositivo mobile: smartphone” selezionata per verificare che i tuoi contenuti vengano visualizzati correttamente da Googlebot per smartphone. 

Come risolvere subito

Prima di allietarti con una pratica standard, ti incollo una sintassi che a detta di Gary Illyes (from Google) funziona per sbloccare la scansione dei file .js e .css.

User-Agent: Googlebot
Allow: .js
Allow: .css

Aggiungere questo codice nel file robots.txt dovrebbe essere sufficiente a risolvere il problema. Se invece vuoi complicarti la vita, continua a leggere. 🙂

Come ho risolto il problema su WordPress

Dal momento che probabilmente gestisci almeno un sito web con WordPress, ti dico come ho agito su questo CMS per risolvere il problema.

1) Ho richiamato la homepage del sito web attraverso il tool “visualizza come Google” cliccando su “recupera e visualizza”, dopodiché avendo riscontrato la scansione solo parziale, ho cliccato sul link che mostra le specifiche di scansione per il documento segnalato. Qui puoi trovare una schermata che ti dice esattamente quali sono i file utili bloccati da robots.txt.

2) Perché sono bloccati? Semplice, perché si trovano nella directory wp-includes che nella maggior parte dei siti realizzati con wordpress è bloccata con il robots.txt.

3) A questo punto ho riaperto il file robots.txt e l’ho compilato come segue, riportando i file che nel mio caso erano stati segnalati: 

User-agent: *

Disallow: /wp-admin/

Allow: /wp-includes/js/jquery/jquery.js?ver=1.11.1

Allow: /wp-includes/js/jquery/jquery-migrate.min.js?ver=1.2.1

Allow: /wp-includes/js/underscore.min.js?ver=1.6.0

Allow: /wp-includes/js/backbone.min.js?ver=1.1.2

Allow: /wp-includes/js/jquery/ui/jquery.ui.core.min.js?ver=1.10.4

Allow: /wp-includes/js/jquery/ui/jquery.ui.effect.min.js?ver=1.10.4

Allow: /wp-includes/js/jquery/ui/jquery.ui.widget.min.js?ver=1.10.4

Allow: /wp-includes/js/jquery/ui/jquery.ui.accordion.min.js?ver=1.10.4

Allow: /wp-includes/js/jquery/ui/jquery.ui.tabs.min.js?ver=1.10.4

Disallow: /wp-includes/

Nota: nelle linee guida del Search Console viene riportato che la sintassi corretta vuole prima il Disallow della directory e poi l’Allow del file come eccezione. Qui ho invertito le cose ottenendo lo stesso risultato. Del resto anche il file robots.txt di Google segue queste linee guida. Perché funziona lo stesso?

Come vedi, la mia cartella wp-includes continua ad essere bloccata, ma con delle eccezioni che riguardano solo i file che mi interessa sbloccare. Tutto qui. Una volta risottomesso il file robots.txt e risegnalata la homepage del sito web, Google ha smesso di vedere il mio sito web solo parzialmente, segnalando una scansione della pagina senza limitazioni.

Considerazioni a margine

Molti ottimi SEO non tengono per niente bloccata la cartella wp-includes. In effetti a pensarci bene ormai credo sia abbastanza inutile farlo, dal momento che Google ne conosce benissimo il contenuto e sa sicuramente come scansionarlo e quale peso attribuirgli.

Fai tu.