Боты пауки Яндекса

20.01.2011
ReTweet

Наверное вы уже читали Сказку для молодых оптимизаторов

Упростим понимание и просто расскажем о роботах пауках Яндекса задействованных в процессе индексации. Каждый поисковый бот имеет ограниченный круг задач и посещает сайт с определенной целью. Зачем заходил бот Яндекса можно узнать по логам статистики сервера, посмотрев строку User-agent:

Yandex/1.01.001 (compatible; Win16; I) – основной индексирующий робот;

Yandex/1.01.001 (compatible; Win16; H) – робот-зеркальщик;

Yandex/1.01.001 (compatible; Win16; P) – индексатор картинок;

Yandex/1.02.000 (compatible; Win16; F) – индексация иконки сайта (favicon);

Yandex/1.03.000 (compatible; Win16; M) – робот, обращающийся при открытии страницы по ссылке “Найденные слова”;

Yandex/1.03.003 (compatible; Win16; D) – робот, обращающийся к странице при добавлении ее через форму “Добавить URL”;

YaDirectBot/1.0 (compatible; Win 16; I) – индексация страниц сайта, участвующего в рекламной сети Яндекса;

YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам;

YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.

В Яндексе имеются специальные “простукивалки” для проверки доступности страниц:

Yandex/2.01.000 (compatible; Win16; Dyatel; C) – Яндекс.Каталог.
Определяет, доступен ли сайт. При недоступности в течение нескольких дней, сайт снимается с публикации в каталоге до тех пор, пока снова не начинает отвечать на запросы;

Yandex/2.01.000 (compatible; Win16; Dyatel; D) – Яндекс.Директ. Проверяет корректность ссылок из объявлений перед модерацией;

Yandex/2.01.000 (compatible; Win16; Dyatel; Z) – Яндекс.Закладки.

Дополнения и изменения к 2011 году.

За прошлый год практически все роботы поисковой системы Яндекса изменили свое представление в User-Agent.

Представим короткий перечень роботов с уточнением их координат -

- Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей

-Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов

- Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа

- Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики

- Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога

- Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»

- Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons)

- Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

- Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео

- Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные

- Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов

- Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот

- Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов

- Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок

Уточним, что список IP с которых могут приходить роботы не постоянен и со временем может периодически меняться.

Последний раз редактировалось  20 января 2011

Отзывов 2 на “Боты пауки Яндекса”
  1. 1От Дима 4 Mar 2009 | Ответить

    коротко, лаконично, а самое главное – полезно!
    спасибо

  2. 2От Олег 15 Apr 2009 | Ответить

    Действительно коротко и ясно! Давно хотел разобраться с этими пауками.
    Спасибо

Извините, но коментирование запрещено.

Коротко о сайте.

Блог meganfoxstar.ru поможет вам в Установке и настройке cms Vamshop, PHPProBid, Esyndicat, закрепит и расширит имеющиеся знания. Создание сайтов, продвижение сайтов, оптимизация информации. Теория и практика seo. CSS-верстка, веб-мастеринг, интернет-технологии, манимейкинги – все это и намного больше вы сможете найти на страницах нашего проекта!.

Основной        Дополнит         Twitter
RSS фид основной    RSS фид дополнительный    Всего Фолловеров блога
1006
RSSПодписка на обновления по RSS

Обновления блога по почтеОбновления блога на почтовый ящик