Регулярные атаки ботов — серьезная проблема почти для всех сайтов с хорошими позициями в выдаче. Обычно боты появляются на качественных сайтах.Они влияют на поведенческие факторы ранжирования, изменяя средние показатели времени, которое пользователь проводит на сайте, глубину просмотра и т.п. Это может приводить к снижению позиций в поиске. Специалисты веб-студии Яворского рассказывают о том, почему это происходит, как распознавать атаки ботов и главное — зачем и как защищаться от них.
Признаки "нагуливания" ботов на сайте в метрике
Скрин в веб визоре - посещение ботов, которые сразу покидают страницу сайта
Теоретически заходы ботов в большом количестве могут приводить к попаданию продвигаемого, серыми методами сайта под фильтры за накрутку поведенческих факторов. На практике ни один поисковик не может отличить визит бота от посещения реального человека.
Почти все агентства, занимающиеся «серым» SEO, используют ботов, чтобы накручивать поведенческие факторы. Накрутка ПФ — это способ вывести сайт в ТОП выдачи без должной оптимизации, без его развития. Поэтому предложения попасть в ТОП без работы над качеством сайта всегда означают, что будет Ваш сайт будут продвигать запрещенными методами.
Такой подход к продвижению запросов в ТОП может подвести сайт под санкции поисковых систем и навсегда убить "карму" домена. Такие сайты уже никогда не вывести в ТОП белыми методами, какой бы хорошей не была оптимизация. Поможет только смена домена. К тому же качество сайта при накрутке поведенческих факторов не улучшается, а значит, реальные пользователи, попадая на страницу, не будут совершать конверсионные действия (например, оставлять контакты, отправлять заявки или оформлять заказы).
В норме боты формируют небольшую часть трафика. Его должно быть как можно меньше, но сейчас считается, что даже 20% — это норма. Предполагается, что это не слишком вредит показателям сайта и его ранжированию с учетом поведенческих факторов, поэтому с таким трафиком можно не делать вообще ничего. Проблемы начинаются, когда «ботовый» трафик резко возрастает (в разы). Подобные всплески опасны, и необходимо быстро распознавать их. Это можно сделать по нескольким признакам.
Яндекс.Метрика не определяет “вредных” ботов, несмотря на большое количество признаков паразитного трафика. Попытки отфильтровать их от роботов поисковых систем через настройки или хотя бы увидеть их процент в отчете (Стандартные -> Мониторинг -> Роботы) не дают результата. При этом такие атаки приводят к серьезным негативным последствиям.
Падение может быть очень серьезным: по отдельным запросам страницы могут вылететь из ТОП-3 и уйти далеко за ТОП-100. Вернуть такие страницы назад невозможно даже при наличии качественного контента. В данном случае может помочь только смена URL страницы.
Падение может быть медленным, но стабильным. Сначала это касается только трафика из выдачи Яндекса, трафик из Google начинает падать позже (иногда остается на исходном уровне).
Когда на сайте «нагуливают» ботов неопытные накрутчики, Яндекс может определить ботовый трафик и посчитать, что сайт таким образом накручивает поведенческие факторы и забанить его за это.
Они могут возникать как «побочный» эффект при нагуле ботов из-за их случайных действий на страницах, если клики попадают на рекламные блоки.
«Идеального» способа избавиться от паразитного трафика пока нет: все существующие методы либо отфильтровывают только часть ботов, либо влияют на удобство сайта для пользователей. Из-за этого, иногда, веб-мастера решают вообще не бороться со спамом, пока происходит нагул ботов, и просто продолжают продвижение.
Пока доля паразитного трафика остается небольшой, это решение может быть оправданным, но когда его количество увеличивается настолько, что превышает трафик из поисковых систем, последствия могут быть очень тяжелыми. Сайт может попасть под фильтр.
Второй вариант - это когда на сайте “скручивают” ПФ, что резко ухудшает позиции страниц в поисковой выдаче. Страницы улетают далеко за ТОП-20 и вернуться, возможно, удастся только после смены URL при условии, что контент на странице качественный. Чтобы не допустить такого сценария, лучше заранее выбрать подходящие способы защиты. Их несколько.
Временное удаление метрики может сработать, если паразитный трафик идет на ограниченное количество страниц. Убирая код, можно защититься от влияния ботов. Это оправданно только при условии, что проблема затрагивает небольшое количество страниц. Когда таких страниц много, снимать метрику на каждой — плохой вариант. Полностью удалять метрику бессмысленно — это никак не меняет активность ботов.
Другой вариант — частично закрывать метрику. Если сайт продвигается только в поисковых системах и не привлекает посетителей из соцсетей, а прямые переходы случаются редко, метрику можно показывать только по пользователям из поиска. Отфильтровав спамный трафик, можно учитывать в метрике только реальных пользователей, но проблема в том, что возможности фильтрации ограничены. В самой метрике для этого можно использовать только фильтр по IP. Фильтровать трафик из соцсетей или прямые переходы можно, используя Cloudflare JS Challenge. Здесь нужно учесть, что такая фильтрация может вообще не иметь смысла потому, что Метрика — инструмент отражения статистики, который не используется при ранжировании.
Часто паразитный трафик идет с IP-адресов протокола IPv6. Из-за дешевизны такие адреса охотно скупаются SEO-агентствами, использующими «серые» схемы, при том, что люди почти не используют их. Использующих этот протокол ботов можно заблокировать или просто отключить в DNS. Для этого в регистраторе нужно прописать DNS-сервера, используемые для сайта:
запретить IPv6 через Cloudflare. Для этого настройте DNS в быстрых действиях и проверьте статус AAAA (должно быть DNS Only);
используйте блокировку на панели управления. В разделе «Безопасность» нужно перейти на вкладку «Блокировка IP» и добавить подсети;
через управление IP, привязанными к домену (заблокировать IPv6, удалив все AAAA записи).
Отключать шестой протокол не рекомендуется, если сайт является международным или активно продвигается в Google (при ранжировании могут возникать проблемы, но пока подтверждений этому нет). В европейских странах IPv6 используется активнее, и его блокировка может отсекать реальных пользователей. В России шестой протокол пока не используется, поэтому такая блокировка в целом является безопасной.
Известно, что ботный трафик идет с одних и тех же диапазонов IP мобильных операторов. Настроив бан для них, теоретически можно отфильтровать ботов, но это опасно. Проблема в использовании мобильных прокси ботами: их IP-адреса являются динамическими (регулярно изменяются). Из-за этого заблокированные адреса могут доставаться реальным пользователям. Этот риск намного увеличивается, если выполняется блокировка целых подсетей. Из-за этого использовать бан по IP можно только в самых крайних случаях (и даже тогда очень осторожно). Правила для такого бана прописываются в файле .htaccess.
Паразитный трафик из социальных сетей можно фильтровать, блокируя автономные системы, из которых он приходит. Для этого можно выполнить блокировку, добавив правила в .htaccess. Получить пул IP-адресов, принадлежащих конкретной AS , можно с помощью ASN-blocklist. В ответ на ввод номера AS он генерирует код для добавления в .htaccess, уже содержащий пул IP-адресов.
Настраивать такие фильтры проще через Cloudflare. В Firewall зайдите в Firewall Rules и добавьте правило ip.geoip.asnum in {nnnn1 nnnn2 nnnn3} (nnnn* — номера фильтруемых AS через пробел). После добавления правила при попытке захода ботам будет показываться капча.
Есть несколько специальных сервисов, которые помогают защитить сайт от ботов. Чаще других используются следующие:
Быстро устанавливается (для сайтов на WP как плагин), выполняет переадресацию http-запросов на свою платформу для анализа пользователя на «человечность». Дополнительно защищает от скликивания рекламы и укорачивает URL. Этот антибот платный, но поставляется с бесплатным тестовым периодом.
Поставляется в локальной или облачной версии (облачная является платной). После регистрации для облачной версии есть тестовый период (10 дней). Устанавливается через FTP, подробные инструкции есть в документации по сервису. После установки можно фильтровать прямые заходы, установить стандартную заглушку (такую же, как JS Challenge у Cloudflare) или настроить для нее собственный дизайн. Этот антибот работает достаточно эффективно, но нужно учитывать, что он бесполезен для турбо-страниц и препятствует обходу сайта программными ботами (например, ботами онлайн-сервисов или краулерами, установленными на компьютер). Перед проверкой сайта нужно не забыть внести свой IP в исключения. Сервис универсальный и подходит для всех самых распространенных CMS, включая Битрикс, Wordpress, Joomla и другие. Для некоторых CMS есть отдельные рекомендации по установке (приведены на сайте сервиса).
Пока Яндекс игнорирует сообщения об атаках ботов, но, даже несмотря на это, нужно пожаловаться в техподдержку, если есть признаки паразитного трафика. Если жалоб будет много, Яндексу придется реагировать на них и начинать бороться с накруткой поведенческих факторов.
