Все мы знаем, что Яндекс.Вебмастер показывает какие страницы проиндексированы, но к сожалению не показывает, какие из них не попали в поиск.
Лично у меня уже много месяцев, сервис Яндекс.Вебмастер показывает мне очень непонятную картину:
Загружено роботом 93694
Страниц в поиске 3215
Исключено роботом 178
Делаем подсчет: 93694 - 3215 - 178 = 90301 интересно, что с этими страницами не так, про них забыли?
С этим вопросом я решил разобраться и побеседовал с представителем яндекса (далее Яндекс).
Конечно я прочитал страницу http://help.yandex.ru/webmaster/?id=995383 и возможно их не видно по одной из описанных причин.
Однако, если это так, то хотелось бы узнать, собирается ли Яндекс сделать полную раскладку по страницам, которые не попадают в поиск?
А именно, мне бы хотелось видеть в Яндекс.Вебмастер такую картинку:
дубликаты уже показанных страниц: 111
содержат поисковый спам: 222
содержат ненужный пользователям контент: 333
Яндекс: (ответил к сожалению сухо) приведите, пожалуйста, несколько примеров страниц, которые отсутствуют в поиске, чтобы я мог прокомментировать, с чем это может быть связано.
Я: подскажите, а как я могу узнать эти несколько страниц? Дело в том, что Яндекс.Вебмастер не показывает эти данные. Я даже залез в раздел Индексирование сайта - Страницы в поиске, и попытался собрать базу всех страниц, которые есть в поиске, но на 40 странице все заканчивается и внизу страницы написано: Показаны первые 1000 из 3202 страниц. Вот и получается, что этот раздел недоработан. Может быть Вы знаете другой способ узнать страницы сайта, которые не попали в Поиск яндекса?
Яндекс: в Вебмастере, как и в поиске, предоставляется информация о 1 000 страниц в поиске. Это не ошибка.
Чтобы проверить наличие в поиске страницы или раздела сайта, рекомендую Вам использовать оператор поисковых запросов ( http://help.yandex.ru/search/?id=1111369 ) url.
К примеру, так Вы сможете определить, присутствует ли главная страница Вашего сайта в поиске: http://yandex.ru/yandsearch?text=url%3Ayapro.ru
Таким образом можно найти и любую другую страницу.
А так: http://yandex.ru/yandsearch?text=url%3Ayapro.ru%2Fweb-master* - можно просмотреть страницы раздела web-master, добавив на конце запроса символ *
Я: т.е. Вы предлагаете мне вручную перебирать все 93782 страницы сайта? И всё это ради того, чтобы найти хотя бы 1 страницу, которая проиндексирована, но которой нет в поиске? Вы представляете сколько у меня времени уйдет на это? Или может быть я что-то не понял?
Яндекс: рекомендуем Вам для начала проверить, есть ли в поиске, самые Важные страницы Вашего сайта, которые, к примеру, ранее хорошо находились в поиске. К сожалению, мы не сможем Вам помочь в поисках страниц, которые отсутствуют, так как это выходит за рамки наших задач.
Вывод: Яндекс может, но не хочет реализовывать данную возможность, скорее всего преследуя свои возможно коммерческие цели.
p.s. написал свою идею сюда в официальный блог яндекс-поиска, посмотрим, может что-нибудь ответят.
Комментарии