Словарь терминовЛитера - П ► Поисковый робот

Поисковый робот

Поисковый робот (паук, спайдер, краулер) - это программа, являющаяся составной частью поисковой машины, предназначенная для обхода страниц Интернета с целью занесения их в базу поисковика.

Поисковая система собирает и анализирует информацию с сайтов. Для этого она отправляет "программу-паука" (spider), которая иначе называется "поисковый робот" (robot) или "сборщик" (gather).
Указанная программа посещает все сайты, которые были добавлены в каталог поисковой системы, просматривает их, запоминает страницы, их названия, анализирует содержимое, а также медийную информацию, рисунки и т.д.

Порядок обхода страниц поисковым роботом, частота визитов регулируется алгоритмами поисковой машины.
Запретить индексацию всего сайта или его части можно с помощью файла robots.txt, содержащего инструкции для поисковых роботов.

На заре развития интернет у поисковых систем был один поисковый робот, работающий циклично. Сайты сканировались от начала до конца.
Совершенствование поисковых систем привело к разделению поискового робота на несколько специализированных поисковых роботов.
Каждый поисковый робот стал отвечать за выполнение конкретных задач.