Google может индексировать заблокированные страницы без сканирования

Google может индексировать URL, заблокированные в robots.txt,
не сканируя их. Об этом заявил помощник поиска Джон Мюллер, отвечая на вопрос одного с вебмастеров в Twitter.

В частности, пользователь спрашивал, почему по сайту, какой полностью заблокирован в robots.txt, в результатах поиска отображаются заголовки и описания страниц.

Мюллер ответил неизвестно зачем: «URL могут индексироваться без сканирования, если они заблокированы в robots.txt».

На запрос, почему отображаются заголовки и ссылки, если URL не сканируются, Мюллер ответил: «Заголовки ординарно берутся из ссылок, однако сниппетов не должно быть». Присутствие этом он добавил, что хотел бы взглянуть на самочки URL, чтобы понять, в чём дело.

Как объяснил консультант по поисковому маркетингу Барри Адамс (Barry Adams), robots.txt – сие инструмент для управления сканированием, но не индексированием. Ради предотвратить индексацию, нужно использовать соответствующую директиву в метатеге robots тож HTTP-заголовки X-Robots-Tag. Но чтобы Googlebot увидел сии директивы, ему нужно разрешить сканировать эти страницы.

Иван Мюллер отметил твит Адамса «лайком».

По материалам: www.searchengines.ru