Путь-ловушка

Путь-ловушка это путь, по которому никому незачем заходить. Добропорядочные краулеры его обходят, потому что он запрещён в robots.txt, а люди не открывают, потому что на него не ведёт ни одна ссылка. Остаются краулеры, которые игнорируют robots.txt, и скрейперы, которые читают robots.txt, чтобы найти скрытые пути. От таких ботов вы и хотите избавиться.

Настройка

В настройках сайта, вкладка Дополнительно, Bot Fight Mode:

Отметьте Путь-ловушка.
Введите путь в поле Путь-ловушка. По умолчанию это /secret-archive/. Выберите что-то, что звучит заманчиво и чего на вашем сайте нет.
Убедитесь, что Отдавать robots.txt, запрещающий заблокированных ботов включено, и сохраните.

Путь может содержать буквы, цифры, /, _, . и -, до 100 символов, и не может содержать ... Начальный / добавляется, если вы его не указали.

Что происходит

Любой запрос, путь которого начинается с пути-ловушки, например /secret-archive/ или /secret-archive/2019/backup.zip, отклоняется, и посетитель сразу банится.
Бан длится столько, сколько задано для Bot Fight (Бан, минут, по умолчанию 60), и учитывается в статистике сайта как проба.
Проверка идёт рано, до правил по User-Agent, поэтому попадается и бот, который идеально притворяется браузером.
Адреса из белого списка сайта в ловушку никогда не попадают.

robots.txt

Сгенерированный robots.txt (он отдаётся, только если у вашего сайта нет собственного robots.txt) содержит строку, которая прячет ловушку от честных краулеров:

User-agent: *
Disallow: /secret-archive/
Allow: /

Если у вашего сайта есть собственный robots.txt, WardPane отдаёт его без изменений, и строку Disallow: для пути-ловушки нужно добавить самому. Без неё легальный поисковик, который как-то нашёл этот путь, не будет знать, что его нужно обходить, и тоже будет забанен.

Не ставьте ссылки на ловушку со своих страниц и не используйте путь, с которого начинается настоящий раздел вашего сайта: любой путь внутри него становится ловушкой.