+7 (495) 665-32-37

Содержание

Регулярные атаки ботов — серьезная проблема почти для всех сайтов с хорошими позициями в выдаче. Обычно боты появляются на качественных сайтах.Они влияют на поведенческие факторы ранжирования, изменяя средние показатели времени, которое пользователь проводит на сайте, глубину просмотра и т.п. Это может приводить к снижению позиций в поиске. Специалисты веб-студии Яворского рассказывают о том, почему это происходит, как распознавать атаки ботов и главное — зачем и как защищаться от них. 

Зачем вообще нужны боты?

Боты имитируют поведение реальных посетителей: заходят на сайт и «просматривают» его страницы. Обычно они посещают страницы, первые в выдаче по запросу. Это нужно для накрутки поведенческих факторов на заказанном сайте.

Поведенческие факторы для конкретного сайта описывают усредненное поведение пользователя: количество времени, которое он проводит на сайте, глубину просмотра, клики, заинтересованность отдельными участками страниц. Это поведение позволяет судить о качестве страниц (и ресурса в целом). Поисковые системы анализируют его и учитывают при ранжировании в поисковой выдаче. Чем лучше поведенческие факторы (чем выше заинтересованность пользователя), тем более высокими будут позиции.

Для накрутки поведенческих факторов используются «прокаченные» боты. Сначала они заходят на лучшие сайты, имитируя поведение реальных пользователей.

В принципе такой “нагул” ботов никак не влияет на позиции сайта, потому что они «ведут себя» прилично и проводят на странице достаточно времени, чтобы поисковик не счел визит отказом.
ПРИЗНАКИ “НАГУЛИВАНИЯ” БОТОВ НА САЙТЕ В МЕТРИКЕ

Признаки "нагуливания" ботов на сайте в метрике

Когда поисковик начинает «считать» бота экспертом, его начинают использовать для накрутки поведенческих факторов продвигаемого сайта. Бот начинает заходить не по прямым ссылкам, а по запросам из выдачи, показывая поисковой системе заинтересованность в контенте на конкретных страницах. Он проводит на них достаточно времени и даже совершает конверсионные действия. Это улучшает поведенческие показатели «нужных» страниц, и их позиции в выдаче растут.

Но первая страница поисковой выдачи не резиновая, там может находится всего 10 сайтов. Поэтому следующий шаг в использовании ботов — переход на первые по запросу в выдаче страницы, чтобы ухудшить ПФ на них. Бот переходит на страницу и тут же с нее уходит не пробыв 15 секунд. Тем самым он показывает поисковикам, что контент страницы не соответствует поисковому запросу, по которому он пришел на сайт. Из-за этого растет процент количества отказов, у страницы ухудшаются поведенческие факторы, позиции сайта по запросу улетают на 20-30 позицию поисковой выдачи и даже дальше.

Не нужно думать, что жертвой «скрутки» поведенческих факторов выбран какой-то определенный сайт. Такое бывает, но очень редко, и чаще всего «улетевшие» сайты становятся невольными жертвами накрутки ПФ ресурса, продвигаемого серыми методами. Есть такое выражение: «сайт схватил эхо накрутки ПФ».

скрин в веб визоре - посещение ботов, которые сразу покидают страницу сайта

Скрин в веб визоре - посещение ботов, которые сразу покидают страницу сайта

Теоретически заходы ботов в большом количестве могут приводить к попаданию продвигаемого, серыми методами сайта под фильтры за накрутку поведенческих факторов. На практике ни один поисковик не может отличить визит бота от посещения реального человека.

Почти все агентства, занимающиеся «серым» SEO, используют ботов, чтобы накручивать поведенческие факторы. Накрутка ПФ — это способ вывести сайт в ТОП выдачи без должной оптимизации, без его развития. Поэтому предложения попасть в ТОП без работы над качеством сайта всегда означают, что будет Ваш сайт будут продвигать запрещенными методами.  

Чем плоха накрутка? 

Такой подход к продвижению запросов в ТОП может подвести сайт под санкции поисковых систем и навсегда убить "карму" домена. Такие сайты уже никогда не вывести в ТОП белыми методами, какой бы хорошей не была оптимизация. Поможет только смена домена. К тому же качество сайта при накрутке поведенческих факторов не улучшается, а значит, реальные пользователи, попадая на страницу, не будут совершать конверсионные действия (например, оставлять контакты, отправлять заявки или оформлять заказы).

Как распознать ботов? 

В норме боты формируют небольшую часть трафика. Его должно быть как можно меньше, но сейчас считается, что даже 20% — это норма. Предполагается, что это не слишком вредит показателям сайта и его ранжированию с учетом поведенческих факторов, поэтому с таким трафиком можно не делать вообще ничего. Проблемы начинаются, когда «ботовый» трафик резко возрастает (в разы). Подобные всплески опасны, и необходимо быстро распознавать их. Это можно сделать по нескольким признакам. 

Заходы не из поисковой выдачи

Трафик резко вырос, причем в основном за счет прямых переходов, заходов из социальных сетей (используется мобильный клиент), с рекомендательных площадок (например, Яндекс.Дзен). Часть ботов может заходить и из поиска по высокочастотным запросам, но трафик при этом идет с тех же IP, что и прямые заходы. Иногда это дополняется переходами по обратным ссылкам с сайтов, на которых при проверке не обнаруживается бэклинка. Иногда вместе со спамным трафиком начинает расти количество ссылок с подозрительных сайтов. Все это происходит, когда на сайте «нагуливают» ботов для последующей накрутки поведенческих факторов. Если появляется много ботов по запросам из выдачи, то это уже определенно эхо накрутки ПФ.

Меняется «поведение» пользователей.

Когда на сайте нагуливают ботов, количество отказов становится меньше, и при этом уменьшается среднее время, проведенное пользователем на сайте, а также глубина просмотра. В структуре «ботового» трафика отказов почти нет потому, что для «прокачки» посещение страницы должно быть засчитано метрикой. Поэтому сессии длятся не менее 15 секунд (обычно ненамного больше) и ограничиваются посещением только одной страницы.
Картина меняется, когда на сайте появляются уже «прокачанные» боты: они заходят всего на несколько секунд, в результате чего резко возрастает процент отказов.

Грубая имитация действий реального пользователя

Если проверить Вебвизор, то можно увидеть, что во время короткой сессии «посетители» скролят страницу, двигают курсором, останавливаются на отдельных участках текста. При этом скролл может быть слишком быстрым, остановки (имитация чтения) происходят на участках, где нет значимого текста, движения мышкой хаотичные. Сессии могут быть очень долгими (до 20 минут), но во время них посетитель или бездействует, или резко перемещает курсор мыши в произвольные области.

Определенные IP-адреса.

Обычно используются мобильные операторы Москвы или Подмосковья. При этом все такие «посетители» используют устройства с маленьким разрешением экрана.

Объемы ботового трафика растут постепенно.

Они могут увеличиваться всего на несколько десятков посетителей в сутки, но рост является непрерывным.

ЗАЧЕМ ЗАЩИЩАТЬСЯ ОТ АТАК БОТОВ?


Яндекс.Метрика не определяет “вредных” ботов, несмотря на большое количество признаков паразитного трафика. Попытки отфильтровать их от роботов поисковых систем через настройки или хотя бы увидеть их процент в отчете (Стандартные -> Мониторинг -> Роботы) не дают результата. При этом такие атаки приводят к серьезным негативным последствиям.


Позиции страниц сайта в выдаче снижаются

Падение может быть очень серьезным: по отдельным запросам страницы могут вылететь из ТОП-3 и уйти далеко за ТОП-100. Вернуть такие страницы назад невозможно даже при наличии качественного контента. В данном случае может помочь только смена URL страницы. 

Поисковый трафик падает по мере выпадания страниц сайта из ТОП

Падение может быть медленным, но стабильным. Сначала это касается только трафика из выдачи Яндекса, трафик из Google начинает падать позже (иногда остается на исходном уровне). 

Сайт попадает под фильтр

Когда на сайте «нагуливают» ботов неопытные накрутчики, Яндекс может определить ботовый трафик и посчитать, что сайт таким образом накручивает поведенческие факторы и забанить его за это. 

Проблемы с контекстной рекламой

Они могут возникать как «побочный» эффект при нагуле ботов из-за их случайных действий на страницах, если клики попадают на рекламные блоки.

Способы защиты от атаки ботов 

«Идеального» способа избавиться от паразитного трафика пока нет: все существующие методы либо отфильтровывают только часть ботов, либо влияют на удобство сайта для пользователей. Из-за этого, иногда, веб-мастера решают вообще не бороться со спамом, пока происходит нагул ботов, и просто продолжают продвижение.

 
Пока доля паразитного трафика остается небольшой, это решение может быть оправданным, но когда его количество увеличивается настолько, что превышает трафик из поисковых систем, последствия могут быть очень тяжелыми. Сайт может попасть под фильтр.

 
Второй вариант - это когда на сайте “скручивают” ПФ, что резко ухудшает позиции страниц в поисковой выдаче. Страницы улетают далеко за ТОП-20 и вернуться, возможно, удастся только после смены URL при условии, что контент на странице качественный. Чтобы не допустить такого сценария, лучше заранее выбрать подходящие способы защиты. Их несколько. 

Удалить или скрыть метрику

Временное удаление метрики может сработать, если паразитный трафик идет на ограниченное количество страниц. Убирая код, можно защититься от влияния ботов. Это оправданно только при условии, что проблема затрагивает небольшое количество страниц. Когда таких страниц много, снимать метрику на каждой — плохой вариант. Полностью удалять метрику бессмысленно — это никак не меняет активность ботов.

Другой вариант — частично закрывать метрику. Если сайт продвигается только в поисковых системах и не привлекает посетителей из соцсетей, а прямые переходы случаются редко, метрику можно показывать только по пользователям из поиска. Отфильтровав спамный трафик, можно учитывать в метрике только реальных пользователей, но проблема в том, что возможности фильтрации ограничены. В самой метрике для этого можно использовать только фильтр по IP. Фильтровать трафик из соцсетей или прямые переходы можно, используя Cloudflare JS Challenge. Здесь нужно учесть, что такая фильтрация может вообще не иметь смысла потому, что Метрика — инструмент отражения статистики, который не используется при ранжировании.

Отключить IPv6

Часто паразитный трафик идет с IP-адресов протокола IPv6. Из-за дешевизны такие адреса охотно скупаются SEO-агентствами, использующими «серые» схемы, при том, что люди почти не используют их. Использующих этот протокол ботов можно заблокировать или просто отключить в DNS. Для этого в регистраторе нужно прописать DNS-сервера, используемые для сайта:

запретить IPv6 через Cloudflare. Для этого настройте DNS в быстрых действиях и проверьте статус AAAA (должно быть DNS Only);
используйте блокировку на панели управления. В разделе «Безопасность» нужно перейти на вкладку «Блокировка IP» и добавить подсети;
через управление IP, привязанными к домену (заблокировать IPv6, удалив все AAAA записи).

Отключать шестой протокол не рекомендуется, если сайт является международным или активно продвигается в Google (при ранжировании могут возникать проблемы, но пока подтверждений этому нет). В европейских странах IPv6 используется активнее, и его блокировка может отсекать реальных пользователей. В России шестой протокол пока не используется, поэтому такая блокировка в целом является безопасной.

Использование бана                     

Известно, что ботный трафик идет с одних и тех же диапазонов IP мобильных операторов. Настроив бан для них, теоретически можно отфильтровать ботов, но это опасно. Проблема в использовании мобильных прокси ботами: их IP-адреса являются динамическими (регулярно изменяются). Из-за этого заблокированные адреса могут доставаться реальным пользователям. Этот риск намного увеличивается, если выполняется блокировка целых подсетей. Из-за этого использовать бан по IP можно только в самых крайних случаях (и даже тогда очень осторожно). Правила для такого бана прописываются в файле .htaccess. 

Фильтровать ботов из автономных систем 

Паразитный трафик из социальных сетей можно фильтровать, блокируя автономные системы, из которых он приходит. Для этого можно выполнить блокировку, добавив правила в .htaccess. Получить пул IP-адресов, принадлежащих конкретной AS , можно с помощью ASN-blocklist. В ответ на ввод номера AS он генерирует код для добавления в .htaccess, уже содержащий пул IP-адресов.

Настраивать такие фильтры проще через Cloudflare. В Firewall зайдите в Firewall Rules и добавьте правило ip.geoip.asnum in {nnnn1 nnnn2 nnnn3} (nnnn* — номера фильтруемых AS через пробел). После добавления правила при попытке захода ботам будет показываться капча. 

Настройка CloudFlare Firewall

В CloudFlare есть специальные режимы для борьбы со спамным трафиком (I’am Under Attack и Bot Fight Mode), но они используются во время массированных DDoS-атак и бесполезны при накрутке поведенческих факторов, когда боты маскируются под людей. Вместо этих режимов нужно использовать настройки правил в Firewall rules:

  • фильтрация трафика из соцсетей;
  • отказ в доступе для «плохих» ботов путем отключения переадресации с HTTP на HTTPS;
  • запрет доступа для посетителей, использующих HTTP/1.0 и /1.1.

Специальные сервисы 

Есть несколько специальных сервисов, которые помогают защитить сайт от ботов. Чаще других используются следующие: 

BotFAQtor

Быстро устанавливается (для сайтов на WP как плагин), выполняет переадресацию http-запросов на свою платформу для анализа пользователя на «человечность». Дополнительно защищает от скликивания рекламы и укорачивает URL. Этот антибот платный, но поставляется с бесплатным тестовым периодом.

Antibot.cloud

Поставляется в локальной или облачной версии (облачная является платной). После регистрации для облачной версии есть тестовый период (10 дней). Устанавливается через FTP, подробные инструкции есть в документации по сервису. После установки можно фильтровать прямые заходы, установить стандартную заглушку (такую же, как JS Challenge у Cloudflare) или настроить для нее собственный дизайн. Этот антибот работает достаточно эффективно, но нужно учитывать, что он бесполезен для турбо-страниц и препятствует обходу сайта программными ботами (например, ботами онлайн-сервисов или краулерами, установленными на компьютер). Перед проверкой сайта нужно не забыть внести свой IP в исключения. Сервис универсальный и подходит для всех самых распространенных CMS, включая Битрикс, Wordpress, Joomla и другие. Для некоторых CMS есть отдельные рекомендации по установке (приведены на сайте сервиса).

Что, если просто пожаловаться?

написать о проблеме в телеграм-чат Яндекс.Метрики

но там в основном обсуждаются другие вопросы;

обсудить на профильном форуме.

на Searchengines уже несколько сотен страниц обсуждения, но решения проблемы пока нет

обратиться в техподдержку

обращения к Платону пока не дают внятного результата: техподдержка ограничивается стандартными отписками об отсутствии ограничений и о том, что активность ботов не ухудшает позиций сайта и не влияет на его работу (к сожалению, это не так)

Пока Яндекс игнорирует сообщения об атаках ботов, но, даже несмотря на это, нужно пожаловаться в техподдержку, если есть признаки паразитного трафика. Если жалоб будет много, Яндексу придется реагировать на них и начинать бороться с накруткой поведенческих факторов.