Внесены изменения в работу инструмента анализирующего файла robots.txt

Google Webmaster Central Blog сообщает о внесении изменений в работу инструмента анализирующего файлы robots.txt. Благодаря обновлению функционала, теперь распознаются все форматы карт сайта и соответствующие URL`ы. Инструмент будет проверять состояние URL`а карты сайта и представлять данные о соответствующих URL`ах.

В дополнении, появилась функция, которая позволяет запретить индексацию картинок сайта, бот проиндексит весь сайт кроме папки с изображениями. Помимо этого Google расширил предоставляемую отчетность, теперь она включает данные о всех случавшихся проблемах, а не о первой как было раньше. 

Напомним, некоторое время назад Google внес изменения в стандарте REP (Robots Exclusion Protocol), протоколе исключения роботов, используемый файлами Robots.txt для googlebot. Были представлены новые META-теги роботов: unavailable_after и X-Robots-Tag, сообщается в официальном блоге компании.

распечатать