Настройка Robots.txt для Opencart 2x #57

-------------------------------------------------------------------------------------------------------

И получи скидку 60% введя купон - e0tJobC9
-------------------------------------------------------------------------------------------------------
Вступайте в нашу группу Вконтакте и предлагайте ваши темы для новых видео!

-------------------------------------------------------------------------------------------------------
Чтобы сказать "спасибо" - нажмите кнопку "мне нравится" и скиньте ссылку на урок друзьям. Ничто другое так сильно не мотивирует автора продолжать работу!

Так же Вы можете отблагодарить автора переведя любую сумму на кошельки указанные ниже:

Карта Сбербанк - 5469 5500 2057 0294

Карта Тинькофф - 5213 2438 5033 0216
Яндекс кошелёк - 410011882871717
Webmoney кошельки:
WMR (Рубли) - R305632499265
WMZ (Доллары) - Z262295304888
WME (Евро) - E140208309334
WMU (Гривны) - U978207419325
QIWI - 9214361464

-------------------------------------------------------------------------------------------------------

[ProDeloTV]

Хотите выразить благодарность?
Регистрируйтесь по моим партнёрским ссылкам ниже!

Хостинг-провайдеры которых я рекомендую:

[robertprokhorov]

Здравствуйте!

Здесь уже говорили о фидах, а также, что нужно убирать из robots.txt. Но по сути это ведь тот же sitemap.xml, только динамический, генерируемый при обращении роботами или также,
если самому зайти по соответствующему адресу, если я правильно понимаю. В связи с этим вот такие вопросы возникают:
1. Теоретически, ведь можно под каждым user-agent, адресованному определенному роботу вписать назначенный ему фид?
2. Можно включить эти фиды, как и в случае, если есть и статические карты, в индексный файл и указать путь в роботс на него?
3. Например, есть популярный сайт по размещению объявлений, то там под каждым user-agent размещена ссылка на сайтмап при чем на индексный и один и тот же файл. И вот, что смущает, а если один и тот же, то как это отражается на реакцию разных поисковых систем?
Ведь известно, что изображения яндекс игнорирует, поэтому для него свой сайтмап, а гугл наоборот. И если совсем убрать сайтмап из роботс, то какая реакция будет других ПС? Что вы думаете по этому поводу?
4. Я подумываю поступить так. Поскольку у меня есть и другие фиды, сделать 2 индексных файла (хотя говорил выше, что есть пример только с одним индексным файлом), отдельно для яндекс и отдельно для остальных, в т.ч. гугл, в которых включить фиды, непосредственно относящиеся к конкретным ПС, а также другие, ну возможно, если будут статические сайтмапы xml, условно вручную созданные. Под каждым user-agent прописать свой индексный файл и каждому вебмастеру ПС отдать свои xml, как индексный, так и непосредственные, если есть. Можно конечно просто вписать ссылки вебмастерам, но в роботсе тогда ничего не указывать. Как правильнее поступить, подскажите пожалуйста?

Спасибо.

[УльянаШарипова-лс]

Спасибо, большое. Только почему-то не решилась проблема с индексацией товаров типа: Как ни пытался закрыть в роботсе всё равно индексируются. SeoPro работает

[Garik_Garik]

Чем роботс отличается для опекарт 2 и опенкарт 3 ?

[neverforever]

Добрый день. А есть ли разница для динамического мультисайта (мультигород)? Говорят, что для мультисайта надо настраивать динамический? Если да, то как это сделать?

[Явечный-зв]

Скажите а для опен версии 3 сильно меняется робот файл? или можно оставить так как ваш?

[CT_TT_FH]

Помогите пожалуйста!
Пытаюсь добавить в "Дизайн-макеты-модуль" фильтры, добавлю но когда нажимаю редактировать мне пишет "У Вас нет прав для доступа к этой странице. Если она Вам нужна, обратитесь к администратору. В том случае если Вы входите в группу Администраторов отредактируйте права группы."
Хочу сразу оговорить что:
admin -> система - пользователи - группы пользователей

редактировать группы админов:

проставить галочки на ВСЕ разделы
Я сделал, но это не помогло
Прошу помочь

[vadim_k]

Спасибо! Я подписался и просмотрел несколько видео. Отличная работа!
Вопрос по этой теме:
Google ругается на строчку
Clean-param: tracking
хотя параметр указан для Яндекса.
Просто игнорировать это, я так понимаю?

[VadimOskin]

У меня google в инструменте для проверки robots txt ругается на строку Clean-param: tracking, почему? Пишет "синтаксис не распознается"

[alexvazovski]

Подскажите, поставил ваш файл - но гугл говорит Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.

[agvento]

Не совсем понимаю зачем вы закрываете страницы пагинации. В OC Store это решено тегами next и prev и каноническими ссылками. А так получается вы не даете роботам просканировать все страницы категории и какие-то товары могут очень долго индексироваться.

[sashaseverov]

Доброе время суток подскажите установил файл (robots.txt) и на сайте появилась надпись. Запрашиваемая страница не найдена!
До этого зашел в настройки и поставил SeoPro после этого стала выскакивать эта надпись только не на всех страничка на некоторых
Версия: ocStore 2.3.0.2.3
заранее спасибо!

[violetta-duval]

Здравствуйте! Подскажите, пожалуйста, не знаю уже куда обратится. У меня большая разница между проиндексированными страницами и отправленными в сайтмеп. в чем может быть причина и как ее исправить? спасибо!

[maksimk]

Пагинацию разве не так нужно закрывать: "Disallow: /*?page=" ?

[agvento]

Также вот эти параметры актуальны, если не включены SEO URL:
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /*route=product/compare