Вопросы по ботам

[medexpert]

Добрый день.
Навалился Amazonbot/0.1 - но ведёт себя прилично - запрос в 1-2 секунды.
Есть от него какой-то толк?

[Rema]

Сообщение от medexpert

Есть от него какой-то толк?

Если иметь в виду нагрузку на сервер - то да, очень большой толк. )
Таких гадов блокирую зонами.

[medexpert]

На соседнем сайте выложили список ip ботов.
Причесал для себя - по данным 2ip.ru
Тут полный запрет... это каждый решает сам

Ваши дополнения.
#-------------------------------

<RequireAll>
Require all granted

# Metropolitan branch of OJSC MegaFon AS25159
# Москва
Require not ip 31.173.80.0/21

# Ural Branch of OJSC MegaFon GPRS/UMTS Network
# Екатеринбург
Require not ip 31.173.100.0/23 # было /24
Require not ip 83.169.216.0/24

# Beeline-Moscow GPRS Firewall
# Москва
Require not ip 83.220.236.0/22

# Caucasus Branch of OJSC MegaFon, Pool 5
# Краснодар
Require not ip 85.26.186.0/24 # сеть - 85.26.184.0/22

# Mobile subscribers pool - 0.mtsnet.ru
# Самара
Require not ip 85.140.0.0/21

# 111250 Russia SOVINTEL/EDN
# Москва
Require not ip 87.229.224.0/19 # сеть - Require not ip 87.229.224.0/24

# PJSC "VimpelCom"
# Москва
Require not ip 89.113.127.0/24 # сеть - 89.112.0.0/15
Require not ip 91.193.176.0/22 # было /23
Require not ip 91.193.178.0/22 # было /23

# YOTA - Moscow and Moskovskaya obl.
# Москва
Require not ip 94.25.168.0/21

# Tele2 Russia IP Network (MSK)
# Москва
Require not ip 176.59.32.0/19

# Metropolitan branch of OJSC MegaFon AS25159
# Москва
Require not ip 178.176.64.0/19

# Urals Branch of PJSC MegaFon 178.176.96.0/19
# Екатеринбург
Require not ip 178.176.96.0/19

# Caucasus Branch of PJSC MegaFon Fixed Broabband
# Краснодар
Require not ip 178.176.217.0/24

# Caucasus Branch of OJSC MegaFon, CGNAT Mobile Broadband
# Буденновск
Require not ip 185.3.32.0/23

# Caucasus Branch of OJSC MegaFon, CGNAT Mobile Broadband
# Краснодар
Require not ip 185.3.34.0/23

# North-West Branch of OJSC MegaFon Network
# Санкт-Петербург
Require not ip 188.170.72.0/21
Require not ip 188.170.80.0/20 # было /21
Require not ip 188.170.84.0/20 # было /22

# Не определен
# Ростов-на-Дону
Require not ip 188.170.192.0/23 # было /20

# Mobile subscribers pool
# Москва
Require not ip 213.87.128.0/19
Require not ip 213.87.160.0/22

# Firewall pool in Voronezh
# Воронеж
# было - Require not ip 217.118.95.96/28
Require not ip 217.118.95.0/28

</RequireAll>

[ziliboba0213]

К сожалению, всех забанить - хтаксесса не хватит

[XPraptor]

Сообщение от ziliboba0213

К сожалению, всех забанить - хтаксесса не хватит

Ну почему же не хватит, базовых долбоботов не так уж и много, всех их самыми первыми строками в .htaccess режем сразу:

RewriteCond %{HTTP_USER_AGENT} ".*AhrefsBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MJ12bot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*rogerBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*MegaIndex\.ru/2\.0.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*LinkpadBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*spbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Serpstatbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*exabot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*SemrushBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*boitho.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*AspiegelBot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*psbot.*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*Amazonbot*" [OR]
RewriteCond %{HTTP_USER_AGENT} ".*sogou.*"
RewriteRule ".*" "-" [F,L]

[Хаагенти]

Сообщение от XPraptor

Ну почему же не хватит, базовых долбоботов не так уж и много, всех их самыми первыми строками в .htaccess режем сразу

Я только MJ12bot блокирую, остальные как-то не особо докучают

[wss]

medexpert, правильно, всех бото-накрутчиков ПФ в бан отправил
вот этих еще можешь добавить:

176.59.96.0/19 (176.59.96.0 - 176.59.127.255) Нижний Новгород Tele2 Russia IP Network (NIN)
188.170.64.0/19 (188.170.64.0 - 188.170.95.255) Санкт-Петербург North-West Branch of OJSC MegaFon Network
85.26.164.0/22 (85.26.164.0 - 85.26.167.255)  OJSC MSS-Povolzhe network - GPRS Access Pool No. 3
31.13.144.0/23 (31.13.144.0 - 31.13.145.255) Russian Federation - Mobile Core in Samara
109.124.192.0/19 (109.124.192.0 - 109.124.223.255) Russian Federation - SamaraLan BBS
93.170.124.0/24 (93.170.124.0 - 93.170.124.255)   Nadym Svyaz Servis Ltd (50916)
83.239.0.0/16 (83.239.0.0 - 83.239.255.255)   OJSC Rostelecom Macroregional Branch South

[XPraptor]

Сообщение от Хаагенти

Я только MJ12bot блокирую

Как по мне, так AspiegelBot самый долбобот, больше всего он посещает, даже мертвые сайты.

[medexpert]

Сообщение от wss

medexpert, правильно, всех бото-накрутчиков ПФ в бан отправил

Не, я не баню, я всех проверяю.

[юни]

Сообщение от medexpert

Не, я не баню, я всех проверяю.

Как именно? В Вашей и wss инструкции перечислены подсети целиком, без каких-либо исключений.