В конфиге nginx, в начало секции server { … }(или в файл,который инклюдится в этой секции) добавляем:
if ($http_user_agent ~ SputnikBot|Crowsnest|PaperLiBot|peerindex|ia_archiver|Slurp|Aport|NING|JS-Kit|rogerbot|BLEXBot|MJ12bot|Twiceler|Baiduspider|Java|CommentReader|Yeti|discobot|BTWebClient|Tagoobot|Ezooms|igdeSpyder|AhrefsBot|Teleport|Offline|DISCo|netvampire|Copier|HTTrack|WebCopier) {
return 403;
}
По желанию, можно отдавать 444 код ответа вместо 403.
403 — доступ запрещен
444 — прервать соединение
