CloudFlare: Как подключить и настроить защиту сайта от ботов и накрутки ПФ? - Soltyk.ru

Рассказываю про сервис CloudFlare, используемый для защиты сайтов от ботов, накрутки поведенческих факторов, спама, DDOS-атак. И какие настройки повлияли на SEO - ранжирование в поисковых системах Яндекс и Google.

ВНИМАНИЕ! Видео устарело! Эти настройки уже не работают для защиты от накрутчиков ПФ на 05.2024.
В данный момент у меня уже другая методика защиты и правила WAF. Могу настроить за отдельную плату.

Тайм-коды, оглавление видео в YouTube:
0:53 Проверяем свой сайт на блокировку Роскомнадзором
1:19 Добавляем сайт в CloudFlare
1:36 Выбираем бесплатный тарифный план в CloudFlare
1:43 DNS-записи домена и их сверка с записями на хостинге
3:03 Прописываем NS-записи CloudFlare вместо NS-записей хостинга в регистраторе доменных имен, ждем обновления до 48 часов
4:07 Включаем DNSSEC
4:46 Настраиваем SSL/TLS - настраиваем безопасное подключение и сертификаты
6:10 Настраиваем WAF (Web Application Firewall) - 5 правил безопасности брандмауэра, которые отсекают около 90% ботов на сайт
6:27 Создаем правила в WAF. Виды блокирования
7:09 1 правило. Разрешаем Белых ботов
7:36 2 правило. Выдаем капчу: кто не SSL или имеет IPV6
8:52 3 правило. Выдаем капчу,кто не HTTP2+ или с пустым реферером
9:58 4 правило. Блокируем плохие парсеры
10:15 5 правило. Плохие страны - на усмотрение CloudFlare
10:50 Смотрим отчет География в Яндекс.Метрике
11:46 Включаем Bot Fight Mode - обнаружение JavaScript у ботов
12:14 Включаем Early Hints - предзагрузка страниц, ускорение
12:35 Сбрасываем кеш Purge Cache - Purge Everything
12:53 Включаем Browser Cache TTL - Respect Existing Headers
13:10 Включаем Crawler Hints - ускоряем индексацию поисковиками (возможно используют IndexNow)
13:56 Page Rules - настраиваем 3 правила базовых редиректов на уровне брандмауэра используя Forwarding URL + 301 - Permanent Redirect
15:33 Включаем Normalize URLs to origin - убираем двойные слеши и закодированные символы в URL, приводим к стандарту
15:43 Включаем 0-RTT Connection Resumption - повышаем производительность при повторных визитах
15:57 Включаем gRPC - для снижения использования полосы пропускания, уменьшения задержек и ускорения
16:15 Включаем Pseudo IPv4 - для поддержки сервером IPv4 при посещениях с IPv6
16:28 Внимание Maximum Upload Size - больше 100 МБ пользователи не смогут загрузить на сайт!
17:07 Смотрим отчеты
17:41 Анализируем отчет файервола - сколько ботов и прошедших проверку
18:14 Как накручивают сайт, делают отказы - как выявить и результаты после включения защиты
21:35 Включаем отображение роботного трафика в отчетах Яндекс.Метрики
22:22 Турбо-страницы Яндекса и ботный трафик
22:55 Как CloudFlare влияет на посещаемости с органики?
23:08 Смотрим отчет по страницам в Яндекс Вебмастер
24:03 Смотрим отчет по страницам в Google Search Console
24:37 Смотрим отчет Тренды в Яндекс Вебмастер
25:16 Как анализировать влияние CloudFlare на SEO
25:24 Заключение
26:15 Что делать, если CloudFlare запретят в РФ?

После завершения настройки DNS - отправляем обновление DNS по кнопке "Check nameservers".

Используемые инструменты:

Шаблон 1 правила:

Шаблон 2 правила:

Шаблон 3 правила:

Шаблон 4 правила:

Шаблон 5 правила:

Подписывайтесь на YouTube-канал.

Алексей Солтык, SEO-специалист из Санкт-Петербурга.

#cloudflare #ddos

[soltykseo]

ВНИМАНИЕ! Видео устарело! Эти настройки уже не работают для защиты от накрутчиков ПФ на 05.2024.
В данный момент у меня уже другая методика защиты и правила WAF. Могу настроить за отдельную плату.

[xwiqucc]

Спасибо, Алексей! Видео помогло быстро разобраться с настройкой.

[KrummWeXX]

Спасибо, Алексей. Видео оказалось полезным, рад что нашел его)

[George-pklx]

Сайт атаковали боты, прямых заходов было 70 процентов, с поисковых систем 30, после настройки по этому видео, прямых заходов стало 7 процентов, а с из поисковых систем 70 процентов. Посещаемость конечно упала раза в три. Единственное не стал делать настройки Page Rules - 3 правила базовых редиректов. Дай бог здоровья тебе добрый человек за твои советы.

[unixweb_info]

Спасибо автору! Единственно за это время обновился интерфейс CloudFlare.

[needwork]

Спасибо тебе Алексей, помогла еще одним правилом WAF добавленная блокировка IPV6

[bfbkzhl]

Спасибо за видео, сделали небольшую корректировку по вашему видео. Сейчас по IPv6 регистрируется 11, 31%, а также как у вас поперли внутренние переходы. Было бы интересно разобраться подробнее со статистикой и вычислением ботов именно из статистики CF, так как там много интересного есть.

[kllahh]

Спасибо, избавился от ботов благодаря вашей инструкции, что только не перепробовал... этот бототрафик одолел, выбил все сайты из топа и РСЯ заблокировал сайты из-за скликивания рекламы, в основном мобильный бототрафик, который адресно блокировать бесполезно и даже вредно :( Может появились какие-то нововведения или новые фишки, подписался, буду ждать видео!

[maksimk]

А что делать если гугл стал блокировать все рекламные объявления? Отключить page rules?

[rayver]

Здравствуйте, скажите лечится ли в самом cloudflare то, что дубли страниц создает???

[dmitryl]

Здравствуйте, спасибо за видео. В выборе действий теперь нету allow и нету капчи. Вместо allow и bypass теперь skip. Там вроде более менее понятно. А что вместо капчи отдавать ipv6 трафику? Managed Challenge?

[no_publications]

Еще заметил нюанс, после настроек перестали в Метрике учитываться переходы с Google считает как внутренние переходы или не учитывает вовсе. Это не критично так как вижу страницы входа.

[Heldig]

Делал настройку по видео. Все работало. Но 03.05.24 сайт перестал работать -
Сайт выполнил переадресацию слишком много раз.
Попробуйте удалить файлы cookie.
ERR_TOO_MANY_REDIRECTS

Я нового нечего не добавлял. Подскажите что может быть?
Редиректы делал также как на видео и все работало.

[prokopiyp.]

Здравствуйте, после настройки по видео сайт исчез из поисковой выдачи, вебмастер обозначил ошибки:
1 Некоторые страницы сайта отвечают HTTP-кодом 4xx
2 Не найден файл robots.txt
3 Обнаружены ошибки в файлах Sitemap
Подскажите плиз в чем причина?

[vasiliyvasilyev]

Большое спасибо за прекрасную и понятную инструкцию! Остался вопрос по 3 правилу для firewall. Как быть если у меня ip адрес с которого парсится мой сайт динамический и постоянно меняется?

[hiqflno]

Алексей, благодарю Вас за видео. Подскажите пожалуйста если на сайте уже стоит ssl сертификат, нужно ли подключать от CF или просто достаточно обновить NC сервера?

[volodymyrvikarchuk]

А как сам хостинг к домену подключить - не понятно)))

[rp-shop]

Здравствуйте. Настроили по Вашему видео всё, но не удалось отсечь переходы по ссылкам на сайтах и их довольно много у нас. Переходы идут с разных сайтов на главную страницу нашего сайта. Как-то можно отсечь переходы по ссылкам CloudFlare? Можно ли установить Капчу при переходе на конкретную страницу и как это сделать?

[YesVarFilms]

Привет как заблокировать определенную подсеть? Спасибо

[bignuttv]

Чувак, ты хорош, теперь надо узнать как крутить пф дёшево и сердито