Robots.txt. Для чего он нужен и как им пользоваться?

________________________________________________________________

📌 Подписывайтесь на наш канал:

📌 Мы в социальных сетях. Присоединяйтесь, чтобы узнавать обо всем первым:

________________________________________________________________

________________________________________________________________

Следите за нашими новыми видео!
#SEO #АкадемияSEO #ПавелШульга

[liliyaserebrova]

Видео как всегда годное и главное практичное! Без лишних слов, всё чётко, понятно и по делу!

[julia_moor]

Тяжело мне далась эта тема в свое время, где же вы раньше были))) всё четко и по делу. Спасибо!

[ВалентинаБєлова-ир]

Супер! Пользовалась стандартным robots.txt от wordpress а теперь все можно делать самостоятельно после такого доступного объяснения!

[АннаМажаева-бб]

Спасибо, вы очень грамотно и без лишней информации объяснили, даже я всё поняла с первого раза

[mcbroccolinnen]

Спасибо!! Очень подробно🙏🏼
Мне не хватило информации для чайников: вашей рекомендации какие страницы лучше закрыть, а какие оставить.

[leoniddzhabiev]

Самое годное видео о ротот.тхт. Спасибо огромное !

[СергейДанилов-йс]

Если страницы уже проиндексировались, а вы все-равно хотите их закрыть, нельзя их добавлять в роботс.тхт - будут висеть в индексе, а в сниппете будет писать о том, что доступ ограничен файлом роботс))

[YanZbarik]

Спасибо, Павел! Поставил лайк №248. Жду следующего видео.

[User-cfrw]

06:56 кажется опечатка, не Sitamap а Sitemap😐

[ИринаСелезнева-пи]

крутая вещь, ранее никогда и не слышала о таком!Нужно обязательно попробовать!

[ОляРоманова-цд]

Отличное видео, Robots txt.определенно необходим, и вы сумели полностью это доказать

[сергейсергеев-го]

интересно, я даже и не знал что это, а как пользоваться тем более .спасибо за науку

[andreykarolik]

Подскажите, пожалуйста, так нужно ставить в самом начале Allow: / если потом идут несколько запретов на какие-то отдельные директории. Или же достаточно указать запреты и все, что означает индексацию всего остального. Вы лишь упомянули в видео про Allow:/ в случае одностраничного сайта. Хотя и там не очень понятен смысл, если нет запретов. Спасибо.

[Эдуард-пу]

Вопрос. в User-agent Googlebot и YandexBot - "Bot" большими и маленькими буквами для разных поисковиков. Это так и должно или опечатка? Или имено так названы боты этих поисковых систем? Есть разница если Googlebot или GoogleBot. 1 из вариантов не будет работать?

[ИринаКараванова-пэ]

Я активно использую медиафайлы, на сайте достаточно галерей... Что же делать?

[ЗаводЖБИКОМПЛЕКТАЦИЯ]

Подскажите пожалуйста, что значит команда в файле роботс.тхт вида Disallow: *page

[УНИВЕРСАЛБИШКЕК]

Здравствуйте, вы не могли л б помочь мне, недавно создал файл робот тхт, добавил директивы Allow: /*js/.js и после этого не работает на сайте слайд шоу, и другие картинки не открывается, я хочу просто отменить это действие, но ни знаю как. Помогите плииз

[kotboss]

чтобы заработало мета-роботс надо открывать доступ к эти страницам в роботс.тхт?

[Алекс_]

указанным Вами способом файл не открывается, но в корневой папке есть. сайт на WPress. это нормально или он находится не там где надо ? или другая\ проблема?

[АлександрПермяков-зб]

Павел, спасибо за полезную информацию