Полное руководство работы с robots.txt

Тайм коды:
00:00 Вступление
1:40 Процесс настройки – пошаговое руководство
6:18 Руководство по директивам User-agent – настройка для разных поисковых систем
8:33 Настройка индексации – параметры для Яндекс и Google
9:29 Как закрыть блог от индексации – использование disallow/allow
14:20 Использование Clean-param – что это и как применять
17:24 Обязательные директивы – Sitemap, Host, Crawl-delay и их значение