Скрыть объявление
ВАШИ ПРАВА ОГРАНИЧЕНЫ!

Зарегистрируйтесь на форуме, чтобы стать полноценным участником сообщества!

Антибот защита сайта от ботов semrushbot ahrefsbot linkpadbot и тд

Тема в разделе "Свободное общение", создана пользователем ИльяPRO, 7 май 2020.

07.05.20 в 03:53
ИльяPRO
11.05.20 в 13:21
Mik Foxi
7
2.953
0
Ответить в теме
  1. TopicStarter Overlay
    ИльяPRO

    ИльяPRO Бывалый

    Регистрация:
    1 апр 2016
    Сообщения:
    115
    Лучших ответов:
    0
    Рейтинги:
    +84 / 2 / -0
    Если покопаться в логах, можно найти огромное число запросов от seo сервисов.
    Эти боты могут создавать не малую нагрузку на ваш сервер копаша ваш сайт в поиске ссылок и анализируя контент.
    Вам пользы от этих ботов просто 0. А значит и терпеть лишнюю нагрузку на сервер не имеет никакого смысла.
    Лучшее решение забанить их через файл .htaccess

    PHP:
    RewriteCond %{HTTP_USER_AGENT} AhrefsBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} Ahrefs
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} SemrushBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} Semrush
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} DotBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} MJ12bot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} MauiBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} dotbot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} Riddler
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} LinkpadBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} BLEXBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} aiHitBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} trovitBot
    RewriteRule     (.*) - [F,L]
    RewriteCond %{HTTP_USER_AGENT} BUbiNG
    RewriteRule     (.*) - [F,L]
     
    #1 ИльяPRO, 7 май 2020
  2. Ботяра

    Ботяра
    Забанен

    Регистрация:
    10 окт 2015
    Сообщения:
    0
    Лучших ответов:
    54
    Рейтинги:
    +712 / 74 / -0
    зачем он два раза прописан?
    2020-05-07_14-45-09.png
     
    #2 Ботяра, 7 май 2020
  3. Terras

    Terras
    PRO Users

    Регистрация:
    18 мар 2017
    Сообщения:
    382
    Лучших ответов:
    3
    Рейтинги:
    +75 / 4 / -0
    Насколько я знаю это не помогает, сколько не пробовал закрывать сайты от ahrefs подобных, ссылки все равно появляются в сервисе. Они тоже ребята прошаренные и у них как у яши есть хитроботы которые под пользователей косят
     
    #3 Terras, 7 май 2020
  4. Roman.U

    Roman.U
    PRO Users

    Регистрация:
    13 ноя 2015
    Сообщения:
    6.915
    Лучших ответов:
    5
    Рейтинги:
    +1.233 / 154 / -0
    Глупая затея, во первых не поможет, во 2 захочешь проверить свой сайт каким-то сервисом аналитики, и обломаешся).
    Если и закрывть, нужно хорошо подумать что закрыть а что нет.
     
    #4 Roman.U, 7 май 2020
  5. evgfreeman

    evgfreeman
    VIP Кинотрафик v2

    Регистрация:
    26 апр 2016
    Сообщения:
    3.385
    Лучших ответов:
    7
    Рейтинги:
    +1.543 / 214 / -0
    Глупая фигня) это не совсем то что ты подумал автор)
     
    #5 evgfreeman, 7 май 2020
  6. Mik Foxi

    Mik Foxi Бывалый

    Регистрация:
    8 апр 2020
    Сообщения:
    221
    Лучших ответов:
    0
    Рейтинги:
    +65 / 12 / -0
    Все правильно ТС делает, такие левые ненужные боты часто создают высокую нагрузку, особенно если это многостраничный вордпресс и т.п. Если бот имеет свое имя и он не нужен и он на сайт ходит активно (логи смотреть свои, а не соседа) - таких ботов надо банить на уровне .htaccess или nginx, это проще и дешевле, чем получать от хостера сообщения о перерасходе серверных ресурсов, видеть тормозящий сервер и платить больше денег за переход на тариф повыше.
    Но списки эти нужно создавать по своим логам и под свои надобности (некоторые вебмастера в такие списки могут заносить и бинг бота, как например я делаю и яндекс бота, как делают буржуйские вебмастера), а не копипастить из интернетов.
    А хитроботов, которые прикидываются браузером - надо не пускать моим клауд антиботом )))
     
    #6 Mik Foxi, 8 май 2020
  7. sandwich

    sandwich Бывалый

    Регистрация:
    8 сен 2017
    Сообщения:
    145
    Лучших ответов:
    1
    Рейтинги:
    +53 / 2 / -0
    Что у вас за сервера такие ? Которые нагружаются от ботов, при этом на сайт они заходят не 24/7.
    Никогда не страдал такой ерундой и вам не рекомендую.
     
    #7 sandwich, 11 май 2020
  8. Mik Foxi

    Mik Foxi Бывалый

    Регистрация:
    8 апр 2020
    Сообщения:
    221
    Лучших ответов:
    0
    Рейтинги:
    +65 / 12 / -0
    Сервера такие, чтоб хватало на сайт с людьми и гуглоботом, без учета 5 кратной нагрузки от ненужных ботов. Вот только с неделю назад сталкивался очередной клиент, вордпресс 1 сайт на 5 баксовом вдс хостинге, работал кряхтел, потом стал периодически падать и всю ночь зависшим висеть, пока его утром не ребутнут. Хостер сказал что пора 5$ менять на 15 в месяц. Но забанив таких ненужных именных ботов в нгинксе + повесил антибот + немного поднастроил сервер и все летает уже неделю пулей. Но можно было конечно просто начать тратить в месяц на 10$ больше ради блога...
     
    #8 Mik Foxi, 11 май 2020
(Вы должны войти или зарегистрироваться, чтобы разместить сообщение.)
Похожие темы
  1. DDDD4

    Защита сайта от блокировок роскомнадзора

    DDDD4, 19 фев 2017, в разделе: Полезный софт
    Ответов:
    29
    Просмотров:
    16.074
    golodny
    3 июн 2022
  2. Mik Foxi

    Важно Антибот защита сайта от накрутки поведенческих факторов, абуз, ненужных ботов.

    Mik Foxi, 26 авг 2021, в разделе: Полезный софт
    Ответов:
    209
    Просмотров:
    45.642
    Mik Foxi
    10 июн 2026 в 16:02
  3. natrium74

    Защита от ботов

    natrium74, 30 сен 2024, в разделе: Свободное общение
    Ответов:
    0
    Просмотров:
    1.829
    natrium74
    30 сен 2024
  4. EgorNiKO

    Antibotwaf — защита сайта от ботов, накрутки поведенческих факторов и т.п.

    EgorNiKO, 29 май 2025, в разделе: Полезный софт
    Ответов:
    39
    Просмотров:
    8.226
    EgorNiKO
    16 апр 2026
  5. SusaPusa

    ️ redis bot protection v2.0 - продвинутая защита от ботов

    SusaPusa, 5 июл 2025, в разделе: Полезный софт
    Ответов:
    17
    Просмотров:
    2.169
    SusaPusa
    26 янв 2026
Загрузка...
Переключить ширину
Стиль
Zerocool-New
Язык
Russian (RU)
Яндекс.Метрика