Обновление инструментария GWT

Инструмент testing tool robots.txt получил обновления, благодаря которым теперь вебмастера смогут находить директивы, которые блокируют какие-то URL. Это особенно удобно для работы с большими файлами robots.txt. Конкретный перечень обновлений выглядит следующим образом:

• теперь инструмент укажет на конкретный номер строки, в котором происходит закрытие страницы сайта от индексации;
• перед загрузкой изменений в сайте robots.txt можно просмотреть все внесенные корректировки;
• пользователь сможет просматривать предыдущие версии robots.txt, что позволит отследить изменения, повлекшие за собой запрет индексации.

Как комментируют представители сервиса, с помощью нового инструментария GWT можно проводить глубокую проверку robots.txt. Здесь понадобится не только testing tool, доступный в разделе «Crawl», но и такой инструмент, как fetch as Google, который необходим для просмотра тех страниц, которые содержат объекты CSS, JavaScript. Кроме этого, специалисты Google  напоминают, что прекращение сканирования страниц сайта может быть в результате внутренних ошибок сервера, обозначаемых индексом 500. После выявления такой ошибки GoogleBot прекратит индексацию ресурса.