Robots.txt: как создать файл robots txt для сайта. Правильные закрытие страниц от индексации

preview_player
Показать описание
Я решил снять серию видео на тему: как провести технический и SEO аудит сайта. Это 4 ролик из 14, в которых я намерен рассказать о основных процессах в аудите сайта. Тема данного ролика: Как создать файл robots txt для сайта. Как правильно закрывать страницы от индексации на сайте.

Тайм-коды:
00:00 Вступительное слово
18:05 Как дополнительно запретить индексацию через канонические url и тег meta

😉😉😉 Если понравилось видео, ставьте лайк, подписывайтесь на канал, здесь Ожгибесов рассказывает про полезное в SEO!

Telegram: @AOzhgibesov
  1. Александр Ожгибесов: SEO продвижение сайта
  2. robots txt
  3. robots txt для wordpress
  4. robots txt яндекс
  5. файл robots.txt
  6. создание robots.txt
Рекомендации по теме
Robots.txt: как создать 0:24:30

Robots.txt: как создать файл robots txt для сайта. Правильные закрытие страниц от индексации...

Robots txt - 0:06:03

Robots txt - Как сделать проверку файла robots txt?

Как создать и 0:11:52

Как создать и настроить файл Robots.txt

Как добавить и 0:05:54

Как добавить и правильно оформить файл robots.txt

Что такое файл 0:02:36

Что такое файл robots.txt, зачем он нужен и как его создать

Как создать файл 0:09:18

Как создать файл Robot.txt

Как создать и 0:11:41

Как создать и настроить файл Robots.txt

Как создать файл 0:01:38

Как создать файл robots.txt (robotstxt.org.ru)

Файл robots txt 0:30:04

Файл robots txt для сайта. Как создать правильный robots txt

Как создать файл 0:02:52

Как создать файл robots txt

Как создать файл 0:02:51

Как создать файл robots.txt

Robots.txt — как 0:05:21

Robots.txt — как составить и проверить

Как сделать файл 0:02:33

Как сделать файл robots.txt

Как создать \ 0:02:26

Как создать \ изменить и загрузить готовый файл robots.txt на сайт...

Как создать правильный 0:08:24

Как создать правильный файл robots.txt

Robots txt для 0:01:47

Robots txt для wordpress

Как работать с 0:06:46

Как работать с robots.txt? Просто о сложном

Правильный файл robots.txt 0:03:45

Правильный файл robots.txt для WordPress

Robots.txt. Для чего 0:08:12

Robots.txt. Для чего он нужен и как им пользоваться?

Robots.txt — создать, 0:01:51

Robots.txt — создать, заполнить, запретить

Урок №13. Настройка 0:44:40

Урок №13. Настройка файла robots.txt. Как правильно настроить файл роботс для сайта....

Генератор файла robots.txt 0:03:14

Генератор файла robots.txt

Как создать файл 0:01:38

Как создать файл robots.txt (garsuk.net)

Создание и установка 0:12:06

Создание и установка файла #Robots.txt. Блог своими руками.

Комментарии
Автор

Интересна еще такая тема: как не передавать внутренний PR таким страница как "контакты", "доставка" и т.д.

evgeniyvdovin
Автор

Отличные ролики👍 Сегментация задач по сео! Ну и как вишня на тортике накрутка пф😂😂😂 внимательно следим за этой историей👍

ОлегБуряк-чб
Автор

Есть ли аналог spider'а на облаке или MacOS?

alexeyruban
Автор

Так каноникл - это рекомендация, а не правило. Тем более на WP у всех одни и те же дыры. Можно шаблонный robots показать ребятам и заставить их Clearfy ставить. А на запрет tag и author в роботсе Гугл будет ругаться 100%. Их лучше через мету закрывать, если есть такая нужда. Короче говоря, снова путаница, как в 95% статей на эту тему)

ВладСветоносец
Автор

Давно так никто не делает, одну для яндекса, другую для фигандекса

dobzo
Автор

Тема не раскрыта.
Чувствуется поверхностное понимание проблемы управления процессом краулинга/индексирования, к которой относятся robots.txt, noindex, nofollow, редирект на странице, редирект в headers, 301, 302 редирект. Когда и для чего применять, а когда точно не применять.
Закрывать от индексации страницу с тегом rel=canonical на каноничную страницу? 🤦‍♂️
Не озвучены возможные подводные камни и последствия непродуманного применения noindex, nofollow.

kirillbelousov