Боты, краулеры и сканеры
За адресом работает программа, а не человек. Это само по себе ни хорошо, ни плохо — важно, какая именно.
Признак бот говорит одно: с адреса ходит автоматика. Не человек с браузером, а программа, обходящая сайты по своему расписанию.
Это не обвинение. Половина автоматики в интернете — та самая, благодаря которой сайты находятся в поиске и отвечают на проверки доступности. Смысл признака в другом: объяснить странности в журналах. Всплеск обращений с одного адреса, обход всех страниц подряд, запросы без картинок и стилей — если это бот, никакой загадки нет.
Шесть родов автоматики
| Род | Кто это | Что делает |
|---|---|---|
| Поисковые | Googlebot, Bingbot, Applebot, DuckDuckBot | Обходят сайты, чтобы показывать их в поиске. |
| ИИ | GPTBot, ClaudeBot, OAI-SearchBot, PerplexityBot | Собирают тексты для обучения и для ответов пользователям. |
| По запросу человека | ChatGPT-User, Google User-Triggered | Не обход, а разовое обращение: кто-то попросил открыть именно вашу страницу. |
| SEO | AhrefsBot, SemrushBot | Строят карты ссылок для сервисов продвижения. |
| Мониторинг | UptimeRobot, Pingdom | Проверяют, отвечает ли сайт. Обычно их зовёт сам владелец. |
| Сканеры | массовые сканеры сети | Перебирают адреса и порты подряд, ища, что откликнется. |
Пять родов из шести — обычная жизнь сети. Внимания заслуживает последний.
Сканер — не то же самое, что поисковый робот
Поисковый робот приходит на сайт и читает страницы. Сканер обходит адреса, а не сайты: ему всё равно, что там, он проверяет, что открыто.
Сканирование само по себе не взлом, и занимаются им в том числе исследователи. Но именно со сканирования начинается почти любая атака, и по объёму это самая массовая автоматика: адресов, с которых оно ведётся, у нас на порядок больше, чем у всех поисковых, ИИ- и SEO-роботов вместе взятых.
Поэтому «бот» из рода сканеров и «бот» из рода поисковых — разные новости, и в отчёте они различаются.
Откуда мы знаем их адреса
У крупных роботов — от них самих. Google, Microsoft, Apple, OpenAI, DuckDuckGo, Perplexity, Ahrefs публикуют перечни адресов, с которых работают их роботы, — чтобы владельцы сайтов могли отличить настоящего робота от того, кто им прикидывается. Мы читаем эти перечни у них напрямую и обновляем.
Это надёжнее проверки по имени: представиться Googlebot в заголовке запроса может кто угодно, а прийти с адреса Google — нет.
Осторожность в широких сетях. Крупная компания держит в своих диапазонах не только краулер, но и всё остальное. Помечать её сеть целиком как ботовскую — значит записать в роботы обычных пользователей, поэтому широкие диапазоны мы в признак не берём, даже когда краулер оттуда действительно ходит.
Чего признак не означает
Не означает угрозу. Заблокировать поисковый робот легко, а последствия скучные: сайт выпадет из поиска. Прежде чем закрывать доступ, стоит посмотреть, какой это род.
Не означает, что за адресом только робот. Один адрес могут делить и автоматика, и люди — особенно у крупных провайдеров.
Отсутствие признака не означает человека. Мы знаем поимённо тех роботов, которые о себе объявили. Автоматика, которая не объявляла ничего, признака не получит — а её в сети немало.
Обновлено