A parlare è direttamente Google che in un avviso ai webmaster e ai SEO consiglia quanto prima di rimuovere le direttive Noindex da Robots.txt
Già a molti SEO e webmaster sparsi per il mondo, ed anche in Italia, Google ha notificato e sta inviando un’email direttamente tramite la Google Search Console dicendo loro di rimuovere le istruzioni noindex dal loro file robots.txt.
L’email che viene notificata dice che:
“Google ha identificato che il file robots.txt del tuo sito contiene la regola non supportata” noindex”. Questa regola non è mai stata ufficialmente supportata da Google e il 1 settembre 2019 smetterà di funzionare. Consulta il nostro centro assistenza per sapere come bloccare le pagine dall’indice di Google “.
Questi avvisi arrivano poche settimane dopo che Google ha ufficialmente annullato il supporto per la regola noindex.
Leggendo quando dice il comunicato stampa, poco oggettivamente si può lasciare all’interpretazione perché ben chiaramente Google dice che questa regola non è mai stata supportata in modo ufficiale.
Era solo ed unicamente un’indicazione di massima che veniva data ai bot ma ben sappiamo che poi ha sempre fatto come voleva.
Per ora, Googlebot sta ancora valutando la direttiva noindex e continuerà a farlo fino al 1 settembre. I proprietari dei siti dovranno quindi utilizzare un’alternativa.
Tecnicamente, come indicato nell’email, Google non è mai stato obbligato a supportare la direttiva noindex in primo luogo. È una regola non ufficiale adottata da Google quando ha iniziato a essere ampiamente utilizzata dai proprietari dei siti.
La mancanza di un insieme standardizzato di regole per robots.txt è un altro problema in sé e per sé – un problema al quale Google sta lavorando costantemente per trovare una soluzione definitiva.
Fino a quando non viene stabilito un elenco standard di regole, è probabilmente meglio non fare affidamento esclusivamente sulle regole non ufficiali.
Da parte nostra, leggendo anche sui tanti forum e gruppi social dedicati alla SEO, presentiamo altre opzioni per bloccare l’indicizzazione di una pagina:
- Un noindex meta tag direttamente nel codice HTML della pagina
- Codici di stato HTTP 404 e 410
- Protezione della password
- Disallow in robots.txt
- Search Console Rimuovi strumento URL
