Глобальная сеть – это огромный организм, который с полной уверенностью можно назвать живым. Все части, все элементы, из которых состоит Интернет, связаны между собой непрерывно работающими алгоритмами – своеобразной нервной системой Сети. И одними из самых основных элементов, обеспечивающих жизнедеятельность всего Интернета, являются поисковые боты Яндекса, Google, Rambler, Yahoo! и многих других систем.

Поисковый бот имеет множество имен: ползун, паук, машина, робот. Поисковый бот каждый день обходит тысячи сайтов, сканируя с них информацию, тем самым помогая ее систематизировать и упорядочить. Однако не следует путать поисковый бот с программами, которые занимаются анализом информации, определяют релевантность контента и ранжируют те или иные страницы в выдаче. Поисковый бот призван лишь сканировать и сохранять эти самые страницы.

В российском Интернете поисковой системой, к которой чаще всего обращаются пользователи, принято считать Яндекс.

Виды поисковых ботов Яндекса

Яндекс, как и многие другие поисковые системы, имеет несколько поисковых ботов, каждый из которых выполняет одну единственную функцию. Сделаны эти боты для облегчения работы и более качественной систематизации информации. Всего имеется 14 поисковых ботов Яндекса, 10 из которых отвечают непосредственно за сканирование страниц, остальные боты отвечают за мониторинг ресурсов и удаление неработающих.

К первой группе относятся следующие поисковые боты Яндекса:

1. Поисковый бот, отвечающий за индексацию сайтов, он считается основным - Yandex / 1.01.001 (compatible; Win16; I).
2. Индексирует картинки с сайтов – Yandex / 1.01.001 (compatible; Win16; P).
3. Отвечает за индексацию иконок сайтов (пиктограммы) – Yandex / 1.02.000 (compatible; Win16; F).
4. Определяет точные копии других сайтов (зеркала) – Yandex / 1.01.001 (compatible; Win16; H).
5. Приходит на сайт через «Добавить ссылку» - Yandex / 1.03.003 (compatible; Win16; D).
6. Русские не без юмора. Никто точно не знает, чем занимается этот бот, но считается, что он выявляет методы черного продвижения сайтов - Bond, James Bond (version 0.07).
7. Фиксирует xml-файлы – YandexBlog / 0.99.101 (compatible; DOS3.30,B).
8. Приходит через «Найденные слова» - Yandex /1.03.000 (compatible; Win16; M).
9. Следующий бот предназначен для индексации сайтов, которые участвуют в рекламной сети Яндекса – YaDirectBot /1.0 (compatible; Win16; I).
10. Этот бот считывает новости с сайтов, являющихся партнерами Яндекс.Новости – Yandex Something /1.0.

Ко второй группе относятся следующие поисковые боты Яндекса, именуемые также «простукивалками»:

1. Для сервиса Яндекс.Новости, этот бот составляет информацию о новостном потоке и передает отчет менеджеру Яндекса – Yandex / 2.01.000 (compatible; Win16; Dyatel; N).
2. Отвечает за отображение функционирующих сайтов в Яндекс.Закладках. Этот бот помечает бледно-серым цветом все ресурсы, которые не работают. Его имя – Yandex / 2.01.000 (compatible; Win16; Dyatel; Z).
3. Третий бот работает с Яндекс.Директ. Его задача заключается в проверке рекламируемых ссылок: правильно ли они написаны, работают ли. Имя его – Yandex / 2.01.000 (compatible; Win16; Dyatel; D).

И последний поисковый бот - Яндекс.Каталога – Yandex / 2.01.000 (compatible; Win16; Dyatel; C). Его основная задача – удаление из каталога неработающих сайтов. Однако, если сайт вновь начнет функционировать, то он автоматически вернется в рейтинг каталога.