Обновления в robot.txt

13.09.2014

Файл robot.txt в поисковом сервисе Google получил очередные обновления. В этот раз они были направлены на то, чтобы предотвратить индексирование своих страниц в поисковой выдаче сервиса, о чем неоднократно сообщали вебмастера и оптимизаторы.

Как указано в Руководстве для вебмастеров, robot.txt необходим для того, чтобы избежать индексации каких-либо страниц, не имеющих ценности для других пользователей. В первую очередь сюда относятся автоматически сгенерированные страницы, а также результаты выдачи при поиске информации.

Интересно, что руководитель издания Search Engine Land выступил с просьбой к представителям Google прокомментировать замечания вебмастеров об индексации страниц поиска, противоречащей требованиям Руководства. В полученном Барри Шварцом обратном сообщении было указано, что это разовые ошибки, встречающиеся в результате случайного указания двух слешей в адресе сайта, которые вскоре будут устранены. Тем не менее, в Google все же официально заявили об изменениях в robot.txt и внесли необходимые корректировки.

В подтверждение обновления robot.txt Барри Шварц приводит два скрина, сделанные до внесения изменений в файл и после этого.  

Комментарии (0)

    Обновления в robot.txt

    Созданные сайты


    Создание сайтов

    Продвижение сайтов

    Задайте вопрос  web-проектировщику – расcчитайте бюджет создания web-сайта
    Наши партнёры
    Наши клиенты
    Наверх