Выпадение страниц из Яндекса и 302 ответ сервера

На одном из сайтов возникла следующая  проблема: новые страниц в поиске не появляются, а старые постепенно выпадают из Яндекса.
По данным Яндекс.Вебмастер в отчете "Индексирование сайта" - "Страницы в поиске" перестали появляться страницы  "за последнюю неделю" и "за последние 2 недели".

Сайт постепенно дорабатывался и было  много мелких вроде не критичных изменений. Отследить причинно-следственную связь с появлением проблемы сложно. В частности, менялись адреса страниц, настраивался геотаргетинг и т.д.

Техподдержка Яндекса на вопрос "почему не индексируются страницы?" ответила
стандартным ответом "робот не видит этих страниц".

Начал искать, почему так получается но, совсем запутался - я же страницы вижу, и никаких ошибок нет.

Нашел сервис анализа ответов сервера  http://webmaster.yandex.ru/server-response.xml, проверил
и оказывается - сервер выдает "Код статуса HTTP:" то 302 ответ, то 200 на одну и ту же страницу.  Ошибка оказалась плавающей, диагностика не удалась. :-(

Согласно описанию в Яндексе, страницы с 302 редиректом (страница временно перемещена) Яндекс не считает нужным индексировать.
И правда, логика в этом есть -  если страница с нужным содержанием переехала временно, то вы сначала определитесь с постоянным местом, потом Я(ндекс) его в индекс и положу.

Искали долго, оказалась следующая проблема - временный редирект был поставлен у блока геотаргетинга. Первый заход на сайт давал 302 ответ и переход на страницу с привязкой к конкретному региону, а дальше, ответы сервера нормальные - 200 ОК. Для каждого посетителя страница с регионом отличается шапкой которая после первого удачного определения, уже не меняется.
 Но Яндекс-то первый раз не найдя страницу дальше не идет, а человек при тестировании открыл сайт, увидел 302 ответ, пошел изучать проблему дальше, а ответ-то стал 200 и все ОК.

Нашли исправили, сайт сразу стал индексироваться. Причем у Гугла похожее отношение, но из Гугла сайт выпадать стал гораздо позже.

В итоге маленький недочет программиста, а сайт чуть совсем не выпал из поисковой выдачи. 

Аккуратнее с 302 редиректом,  лучше его вообще не использовать на сайте и, если перемещаете, так навсегда - 301 редирект работает отлично.

Надеюсь кому-то пригодится и сократит путь поиска проблемы с выпадением страниц из Яндекса из-за 302 кода ответа сайта при редиректе.

Если есть замечания/пожелания - буду рад  комментариям.




1 комментарий:

  1. спасибо! подтвердили мои опасения... у меня такая же ситуация, завтра буду исправлять, вот только не знаю как... буду звонить в тех поддержку REG

    ОтветитьУдалить