Поисковый робот

Поисковый робот — это программа, регулярно сканирующая Интернет с целью проиндексировать сайты, то есть добавить их в базу (индекс) конкретной поисковой системы.

У каждой системы несколько роботов, отвечающих за разные аспекты индексации: изображения, новости, видео, зеркала сайтов и др.

Суть работы поискового робота в том, что он сканирует проиндексированные ресурсы, ищет на них обновления и ссылки на новые сайты, которых еще нет в индексе поисковой системы.

Он также находит сайты, на которые не ведут внешние ссылки, но они добавлены вручную. В Google это можно сделать через Search Console, а в Яндекс — сообщить о новом сайте через Вебмастер.


Читайте также:

К алфавитному указателю