Il nuovo strumento per i webmaster di Bing può essere utilizzato anche per modificare i file robots.txt e controllare la presenza di errori negli URL
Bing ha aggiunto un tester robots.txt ai suoi Strumenti per i Webmaster. La nuova funzionalità consente ai SEO di analizzare i propri file robots.txt ed evidenzia i problemi che potrebbero impedire a Bing di eseguire la scansione ottimale.
Come funziona. I SEO possono utilizzare questo strumento per testare e convalidare il loro file robots.txt o per verificare se un URL è bloccato, cosa lo sta bloccando e per quale user agent.
È inoltre possibile apportare modifiche ai file robots.txt utilizzando l’editor. La funzionalità di test può confrontare l’URL inviato con il contenuto dell’editor, consentendo ai SEO e ai proprietari del sito di controllare immediatamente la presenza di errori nell’URL.
Il file robots.txt modificato può essere scaricato per essere aggiornato offline e, se sono state apportate modifiche da altrove, è possibile utilizzare l’opzione di recupero per recuperare l’ultima versione del file.
Il tester funziona come farebbero Bingbot e AdIdxbot (il crawler utilizzato da Bing Ads) e c’è un’opzione per alternare tra i due. Lo strumento consente inoltre ai SEO di inviare una richiesta per informare Bing che il tuo file robots.txt è stato aggiornato.
Perché ci interessa. Seguire i formati e la sintassi richiesti relativi a robots.txt può essere complesso, il che potrebbe portare a errori che comportano una scansione non ottimale. Questo strumento può aiutare a evidenziare i problemi di scansione per SEO e webmaster, consentendo loro di risolvere più facilmente i propri file robots.txt.