Файл Robots txt - настройка, директивы и популярные ошибки

►►► Описание видео
1:02 User-agent
1:20 Disallow
1:31 Allow
1:55 Директива Host
2:07 Sitemap
2:19 Crawl-delay
2:41 Clean-param
05:37 Что следует закрывать от индексации

На моем канале о SEO и Интернет-маркетинге вы найдете информацию о продвижении сайтов, аналитике, технических нюансах, способах получения клиентов и увеличению продаж и многое другое.

Буду рад

#seo #romanus #sem #ppc #smm

- - - - - - - - - -

♔ МОИ КОНТАКТЫ ♔
★ Skype: seo-romanus

- - - - - - - - - -

♔ПОПУЛЯРНЫЕ ПЛЕЙЛИСТЫ♔

[VladimirAbovyan]

Материал изложен понятно, последовательно и на доступном языке! Спасибо огромное, буду рекомендовать!!!

[JulieBefana]

Спасибо большое за ваши труды, недавно наткнулась на ваш блог, провела несколько бессонных ночей за чтением :D
Очень импонирует ваш подход к сео в целом.

[amonullozodaosaf]

Круто) думаю было бы лучше вставить в описание файл robots.txt как он должен выглядеть) спасибо

[imamdangerous]

Спасибо большое, у тебя очень хорошо получается преподносить информацию.

Есть пару глупых вопросов: 1) Как найти все дубли страниц и как легче, правильнее их закрыть? Например есть в интернет магазине две странички с товарами, где пересекаются товары, это дубли? Можно ли программисту сказать убрать все дубли и он сам разберется или ему нужно показывать какие страницы являются дублями?)

[vadimtrade]

Имеет-ли значение порядок директив? У мня Sitemap в первой строчке стоит.

[srwltfl]

Добрый день. Подскажите, нужно ли запрещать индексацию страницы /NotFound.html (красиво оформленная страница ошибки?) и папку инклуд (со вставками php), заранее спасибо за ответ.

[hesekyd]

Подскажите почему в host не нужно указывать http, а только домен?

[DIABLO__Tester_Sacramento]

Яндекс тоже на него плевать хотел, лучше в коде прописывать

[vadimtrade]

Что значит # global в моем Robots?

[kgwelxu]

Бегет входит в список убогих хостов? =)