Боты пауки Яндекса
20.01.2011
Наверное вы уже читали Сказку для молодых оптимизаторов
Упростим понимание и просто расскажем о роботах пауках Яндекса задействованных в процессе индексации. Каждый поисковый бот имеет ограниченный круг задач и посещает сайт с определенной целью. Зачем заходил бот Яндекса можно узнать по логам статистики сервера, посмотрев строку User-agent:
Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот;
Yandex/1.01.001 (compatible; Win16; H) – робот-зеркальщик;
Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок;
Yandex/1.02.000 (compatible; Win16; F) – индексация иконки сайта (favicon);
Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при открытии страницы по ссылке “Найденные слова”;
Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к странице при добавлении ее через форму “Добавить URL”;
YaDirectBot/1.0 (compatible; Win 16; I) – индексация страниц сайта, участвующего в рекламной сети Яндекса;
YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам;
YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
В Яндексе имеются специальные “простукивалки” для проверки доступности страниц:
Yandex/2.01.000 (compatible; Win16; Dyatel; C) – Яндекс.Каталог.
Определяет, доступен ли сайт. При недоступности в течение нескольких дней, сайт снимается с публикации в каталоге до тех пор, пока снова не начинает отвечать на запросы;
Yandex/2.01.000 (compatible; Win16; Dyatel; D) – Яндекс.Директ. Проверяет корректность ссылок из объявлений перед модерацией;
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – Яндекс.Закладки.
Дополнения и изменения к 2011 году.
За прошлый год практически все роботы поисковой системы Яндекса изменили свое представление в User-Agent.
Представим короткий перечень роботов с уточнением их координат -
- Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей
-Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов
- Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа
- Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики
- Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога
- Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»
- Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons)
- Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса
- Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео
- Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные
- Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов
- Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот
- Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов
- Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок
Уточним, что список IP с которых могут приходить роботы не постоянен и со временем может периодически меняться.
Последний раз редактировалось 20 января 2011
спасибо
Спасибо