Подозрительный рост посещаемости сайта: как защититься от ботов

Иногда владельцы сайтов встречаются с неожиданным всплеском посещений на ресурсе. Причиной такой активности могут быть боты.

Боты — программы, которые выполняют простые действия на сайтах и повторяют их очень быстро: гораздо быстрее, чем это делал бы человек.

Более известны поисковые боты: они изучают веб-страницы и вносят их в поисковую выдачу. Другие — например, боты сервисов SEO-анализа — направлены на изучение проектов заказчика или конкурента. Из-за их работы сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки.

В статье рассказываем о том, как поисковые роботы создают всплеск фейковой посещаемости сайта и высокую нагрузку на сервер.

Как узнать, индексируются ли страницы поисковиками

Для начала работы с контролем посещения ресурса стоит узнать, какие страницы сейчас находятся в поиске. Легкий и удобный способ проверки — с помощью сервисов самих поисковых систем Яндекс и Google.

В Яндекс.Вебмастере раскройте раздел «Индексирование» (1) и перейдите в «Проверить статус URL» (2). Введите адрес страницы (3) и нажмите «Проверить». После отображения результатов вы можете раскрыть их с помощью кнопки «Подробнее» и убедиться в том, что страница индексируется Яндексом.

Для проверки страницы в Google перейдите в Google Search Console. Нажмите «Проверка URL» (1) и введите адрес страницы в поле (2).

Результат будет показан на экране:

Чем отличаются «плохие» поисковые боты

Владельцам сайтов хорошо известны поисковые боты, однако не все они полезны. Их могут использовать во вред. Например, для сбора e-mail, искусственного всплеска посещения сайта, распространения вредоносного ПО и много другого. Сайт может резко понизиться в поисковой выдаче и даже отключиться из-за чрезмерно увеличенной нагрузки.

Зачастую «плохих» ботов непросто вычислить: они притворяются обычными пользователями, а в аналитике могут быть помечены как трафик с нормального сайта. На самом деле из-за посещения ботов происходит всплеск активности, который перегружает сервер и сайт перестает работать.

Полный список ботов представлен международной библиотекой — ABC International Spiders and Bots List.

Расскажем о часто встречающихся.

SEMrushBot — бот аналитического сервиса semrush.com, предназначенный для обнаружения и сбора новых и обновленных веб-данных, а именно — для SEO-анализа сайта. Такие данные помогают найти технические проблему, улучшить удобство использования ресурса, отслеживать потенциально опасные обратные ссылки и многое другое.

Он позволяет получить отчет SEO-параметров для вашего ресурса. Однако когда ваш сайт исследуют конкуренты, это отрицательно повлияет на бизнес. Бот сканирует сайт — одновременно посещает несколько веб-страниц, тем самым перегружает сервер и создает неудобства настоящим пользователям.

DotBot — поисковый бот. Как и SEMrush, он предназначен для задач SEO. Бот собирает информацию и создает базу обратных ссылок на ресурсы сети. Отличается огромным «аппетитом» — создает большую нагрузку на сайт.

AhrefsBot — бот аналитического сервиса ahrefs.com, который исследует внешние факторы онлайн-ресурсов. Он создает большую нагрузку на сервер во время поиска на веб-страницах ссылок на другие сайты.

BLEXBot похож на ботов поисковых систем. Он посещает страницы и анализирует их содержание.

BLEXBot помогает получить информацию о структуре ссылок на сайтах и ​​их взаимосвязи в сети, чтобы исключить любые технические и юридические проблемы. Для этого бот сканирует страницы, собирает и проверяет все ссылки, которые есть в их содержании.

Как бороться с ботами

Ботов — огромное количество, однако не стоит блокировать все известные. В этом случае появится вероятность перегрузить сервер, так как он будет проверять каждого нового пользователя на принадлежность боту. Рекомендуем блокировать только наиболее встречающихся, чтобы сайт работал в обычном режиме. Например, очистите трафик от SEMrush.

На хостинге отфильтровать посещения сайта от ботов можно с помощью внесения правок в «robots.txt» или «.htaccess». Следуйте нашим инструкциям Справочного центра:

1. Ограничение с помощью «robots.txt».
2. Блокировка с помощью «.htaccess».
3. Как узнать имя бота.

Если появятся вопросы, поможем по любому из способов связи: онлайн-чат на сайте, через личный кабинет, по почте support@reddock.ru.

Что почитать о поисковых ботах

Тема ботов интересна и часто поднимается на самых разных ресурсах. Делимся самыми увлекательными.

1. Защищаем свой сайт от негативной накрутки и скликивания контекстной рекламы — SEO на vc.ru.
2. Боты атакуют! Странная накрутка ПФ на сайты — SEO на vc.ru.
3. Как я боролась с ботами и отрицательной накруткой поведенческих факторов.

Желаем всем высокого трафика на проект без ботов!

Статья подготовлена Reddock — хостинг для 1С-Битрикс.