Google: блокировка страницы в robots.txt может не сработать, если на неё есть ссылки

0
31

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер предупредил, что заблокированные в robot.txt страницы могут по-прежнему индексироваться при наличии ссылок, указывающих на них.

И это может стать проблемой, поскольку в данном случае Google будет видеть эти страницы как не имеющие контента из-за блокировки от сканирования.

По словам Мюллера, если на сайте есть контент, который по той или иной причине нужно скрыть от Google, то лучше всего использовать метатег noindex.

Прослушать вопрос к Мюллеру и его ответ на него можно, начиная с отметки 24:36 на видео:

Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. А в 2016 году Джон Мюллер рассказал, как как ускорить индексирование новой версии файла robots.txt.

Источник: searchengines.ru

ОСТАВЬТЕ ОТВЕТ

Please enter your comment!
Please enter your name here