Как работать с robots.txt? Просто о сложном

В видео мы расскажем о работе с основными директивами:
- «User-agent:»;
- «Disallow:»;
- «Allow:»;
- «Host:»;
- «Sitemap:».

___________________

-~-~~-~~~-~~-~-
Обязательно посмотрите: "Как правильно настроить и использовать UTM метки?"
-~-~~-~~~-~~-~-

[ИринаМамаева-зу]

вот почему нельзя так просто обо всем рассказать? круто, спасибо!

[kazimcho]

Спасибо, очень просто и понятно рассказано.)

[andreykarolik]

Как быть, если сайт уже полностью в индексе, а движка, который бы генерировал этот файл автоматически, нет? Или можно тогда не думать о нем? И как быть, если структура сайта не меняется, а лишь добавляются статьи в конкретных разделах, к примеру, новости и обзоры. Но на сайте, повторюсь, нет движка, который бы генерировал этот файл автоматически. Спасибо.

[VetDeMarco]

Как работать с robots.txt в мультивендорном интернет-магазине???

[SvyatoslavGusev]

В host указывать с https? Адрес сайта, иди без https стоит?

[nikolaydd]

Было бы не плохо показывать на примере

[ИгорьКравченко-тъ]

спасибо за Вашу работу!

подскажите пожалуйста, у меня много дублей страниц и я хотел бы их скрыть от выдачи в пс, как мне лучше поступить? как эти страницы необходимо добавлять в robots.txt ?

[AntonioBenderas]

ссылки на другие видео в конце ролика не кликабельные

[СправочниквсехсайтовзнакомствР]

Одна болталогия без каких либо примеров. не советую время тратить