Wiki

Поисковой робот – это часть поисковой машины, которая сканирует Сеть на предмет качественной информации. Каждый робот обходит страницы по определенному графику, выполняет повторные индексации и проверяет контент на актуальность и наличие обновлений. По итогам этого производится ранжирование.

Поисковые роботы принадлежат поисковикам. У Google эту роль играет User Agent – Googlebot. У роботов могут быть различные функции. Одни индексируют сайты, адаптированные для использования на мобильных устройствах, другие предназначены для изображений, третьи – для оценки качества целевых страниц. Вариантов много.

Оптимизатор должен располагать основательной информацией о роботах, ведь от этого зависит качество его работы. Например, если робот не умеет работать с фреймами, то есть вероятность, что многие структуры сайта не будут проиндексированы.