WardPane
Скачать

Проверенные краулеры и списки IP

Фильтр по User-Agent легко обойти: вписать Googlebot в свой User-Agent может кто угодно, и парсеры так часто делают, потому что многие сайты Googlebot пропускают. WardPane сверяет такие запросы с диапазонами адресов, которые публикуют сами владельцы краулеров.

Проверка краулеров по IP

Эти компании публикуют диапазоны адресов, которыми пользуются их краулеры:

Владелец Краулеры (имена в User-Agent) Категория Bot Fight
Google Googlebot, Google-InspectionTool, GoogleOther, AdsBot-Google, Mediapartners-Google, Storebot-Google и другие загрузчики Google Поисковые роботы
Bing bingbot, BingPreview, adidxbot, msnbot Поисковые роботы
DuckDuckGo DuckDuckBot, DuckAssistBot Поисковые роботы
Apple Applebot Поисковые роботы
OpenAI GPTBot, ChatGPT-User, OAI-SearchBot ИИ-краулеры и ассистенты
Anthropic ClaudeBot, Claude-User, Claude-SearchBot ИИ-краулеры и ассистенты
Perplexity PerplexityBot, Perplexity-User ИИ-краулеры и ассистенты
Ahrefs AhrefsBot, AhrefsSiteAudit SEO-краулеры

WardPane скачивает эти списки раз в день и хранит копию на диске. Когда включено Проверять краулеров по IP (по умолчанию, в Bot Fight Mode сайта), запрос с одним из этих имён с адреса, который не принадлежит владельцу краулера, считается поддельным: он отклоняется, а адрес банится на время бана Bot Fight (по умолчанию 60 минут). Так происходит независимо от того, разрешён ли этот краулер на сайте: User-Agent Googlebot на адресе не из сети Google случайно не появляется.

Настоящего Googlebot с собственных адресов Google эта проверка не затрагивает; пустят ли его, зависит только от категории «Поисковые роботы».

Когда список устарел

Если список не удаётся обновить, используется последняя исправная копия, а в журнал пишется ошибка. Когда списку больше месяца, проверка для этого владельца отключается до прихода свежей копии. В старом списке может не оказаться новых диапазонов, и забанить из-за него настоящего Googlebot куда хуже, чем пропустить одну подделку. Владелец, чей список ни разу не был скачан, не проверяется вовсе.

Скачанные списки проверяются перед использованием: записи, которые нельзя прочитать или которые шире /8 (IPv4) или /19 (IPv6), отбрасываются, поэтому сломанный или подменённый список не сможет заблокировать пол-интернета.

Блокировка краулеров по IP

Некоторые краулеры приходят с адресов своего владельца, но с обычным браузерным User-Agent. Если включить Блокировать этих краулеров и по IP (по умолчанию выключено), запросы из опубликованных диапазонов блокируются, даже когда User-Agent похож на браузерный.

Параметр касается только категорий, заблокированных на сайте. Если заблокированы «ИИ-краулеры и ассистенты», отклоняется каждый запрос из диапазонов краулеров OpenAI, Anthropic и Perplexity. Блокировка «SEO-краулеров» добавляет диапазоны Ahrefs, а диапазоны Google, Bing, DuckDuckGo и Apple блокируются, только если заблокированы «Поисковые роботы».

Проверка адреса

Общие для панели инструменты находятся в главном меню, в разделе Дополнительно > Безопасность. В карточке Чей это краулер? введите адрес и нажмите Проверить: панель покажет, в чей опубликованный диапазон он входит (если входит) и есть ли он в одном из включённых публичных списков блокировки. В карточке Известные диапазоны IP ботов перечислены списки всех владельцев с числом диапазонов и датой последнего обновления, там же кнопка Обновить сейчас.

Страну и сеть адреса можно узнать через проверку в разделе Гео-блокировка.

Публичные списки блокировки IP

Помимо проверки краулеров WardPane умеет применять публичные списки известных вредоносных адресов:

Список Значение настройки Что в нём
Spamhaus DROP spamhausDrop Захваченные и преступные сети. Очень мало ложных срабатываний.
FireHOL level 1 fireholLevel1 Сводка самых надёжных списков атак плюс немаршрутизируемые сети.
blocklist.de blocklistDe Адреса, атаковавшие SSH или веб-серверы за последние 48 часов. Больше по размеру и немного агрессивнее.

По умолчанию они выключены. Включаются в два шага:

  1. Включите списки для сервера. В Настройки > Интеграции отметьте нужные списки или перечислите их в /opt/wardpane/.env и перезапустите панель:

    IP_FEEDS=spamhausDrop,fireholLevel1

    sudo systemctl restart wardpane

    Панель скачивает каждый список один раз на все сайты и обновляет его ежедневно. Если в загрузке меньше 10 пригодных записей, она отклоняется и остаётся предыдущая копия. Выключенный список перестаёт применяться.

  2. Включите их для сайта. В Bot Fight Mode сайта отметьте Использовать публичные списки блокировки IP. Для каждого сайта это задаётся отдельно.

Запрос с адреса из списка отклоняется и попадает в статистике сайта в строку «Чёрный список». Бана сверху нет: список и так ловит каждый запрос с этого адреса. В карточке Публичные списки блокировки IP раздела Дополнительно > Безопасность у каждого списка видны размер, дата последнего обновления и то, включён ли он.

Спискам и проверкам краулеров нужен реальный адрес посетителя. Если сайт работает за Cloudflare, включите За Cloudflare: без этого для запросов с адресов Cloudflare эти проверки пропускаются.