Как массово удалить дубли страниц из индекса?

🔥 Скоро стартует бесплатный мастер-класс по самостоятельному SEO-продвижению от автора этого канала Андрея Буйлова. Для участия нужно зарегистрироваться:
-----------------------------------------------------
Как массово удалять страницы-дубли из индекса?

А также нужно ли это делать и будут ли проблемы? Давайте разберемся.

Допустим, у вас есть дубли страниц, Яндекс их заметил, и в панели Вебмастеры видно, что страницы вылетели со статусом "дубль". Что тут можно сделать?

Во-первых, составить список таких страниц:
просканировать сайт любым краулером (Screaming Frog SEO Spider, Netpeak Spider и т.д.);
выявить, какие страницы друг друга дублируют;
выбрать из них основную;
остальные каким-либо образом закрыть от поисковых систем.

Как можно закрыть:

И все подобные страницы разом переходят в разряд не рекомендованных к сканированию, а в случае Яндекса — и к индексации. Они начинают вылетать из индекса Яндекса, и пусть не всегда вылетают, но в основном перестают учитываться Google — в индексе остаются, но не ранжируются. Это не самый, наверное, лучший вариант, потому что запрет через robots не мешает Гуглу держать страницы в индексе, и негативный эффект дублей остаётся. Для Яндекса — нормальный способ, для этого поисковика роботс, как правило, способствует вылету страниц из индекса.

2. Через метатег "robots" content="noindex" в блоке head веб-страницы. Такая страница и в Яндексе, и в Google не будет сканироваться и индексироваться. Вероятность того, что оба поисковика на этот способ будут адекватно реагировать, выше, чем с первым вариантом — хотя и не 100%, но близко к тому.

3. Через HTTP-заголовок, где тоже делается noindex. Этот метод, по опыту, лучше всего учитывается поисковыми системами, и вероятность того, что страницы вылетят из индекса при его использовании выше.

Как ускорить процесс удаления из индекса

Не так уж много способов. Как правило:
через переобход: в Яндексе через панель Вебмастера, в Гугле через Google Search Console;
либо теми же способами, которыми делаются действия на индексацию, можно пустить и на переиндексацию — но, как правило, это не очень эффективно.

То есть на индексацию эти способы работают неплохо, а на переучёт этих страниц — не очень. Поэтому самый нормальный способ — через панель Вебмастера. Всё равно после первых добавлений остальные страницы со временем тоже выбросит из индекса.

Однако прямо таких замечательных способов по-быстрому все эти страницы удалить, к сожалению, нет. Но поисковикам можете об этом сказать, к тому же обычно не очень много времени занимает процесс.
-----------------------------------------------------
Остались/появились вопросы?
Бесплатно, но не быстро Андрей отвечает на вопросы в комментариях. Пишите их там.
Быстро, развернуто и платно: пишите в Telegram/WhatsApp (привязаны к номеру [phone]).
Telegram-канал Андрея "SEO без воды" (вбить в поиске телеграма).

[yanagan]

Как продвигать компанию под несколько стран?
Компания, работает на две страны - Россия и Казахстан. Как лучше продвигаться? Делать под каждую страну отдельный сайт и уникализировать контент (текст) для каждой страны - что сделать крайне сложно будет (текст сложный технический и его много)? До какой степени нужно уникализировать - прям каждый товар/раздел или достаточно только на основных страницах - главная и разделы? Думал просто для сайта под Кахахстан перевести текст с русского сайта на Казахский. Нужно ли на Казахском сайте делать так же дополнительно русскую версию страниц, чтобы продвигатья и под русские запросы из Казахстана?
Или еще вариант, можно ли продвигать один и тот же сайт(на одном домене) но с разными версиями и сделать привязку ответа каждой версии сайта по определению ответа обратной стороны сервера то есть ip-адреса
. В зависимости от ответа внутреннего ответа айпи, определяется автоматически адрес и выдается страничка та которая нужна данной стране. Есть смысл напрячь разработчика для реализации этого и как тогда можно привязать один сайт в поисковиках к разным странам?

[delmore]

Был сайт услуг на ВордПресс. Сейчас Запустили товары, решили сделать интернет-магазин. ВордПресс по этому моменту подошёл не очень хорошо. Опен карт оказался интереснее. Но несколько товаров в индексе, в топе находятся на вордпрессе. Вопрос: будет ли эффективно, если. Сделаем редирект с основного домена товара на поддомен этого же аналогичного товара.? Я так понимаю, что карточки все-таки склеятся. И позиции не должны упасть В поиске.?

[SeoquickUa]

Поймать того, кто впарил вам ужасный самопис, приковать к батарее и не отпускать, пока он сам все не исправит или не перенесет сайт на нормальную CMS. ))) Но если серьезно, то переезд на новый движок – это, по сути, разработка нового ресурса на новой системе управления содержимым, и настройка переадресации со старого сайта. Для этого важно сохранить структуру старого ресурса (а если это невозможно, то минимизировать ее изменения) и его контент, чтобы избежать большой просадки по позициям и посещаемости из поисковых систем.

[V.V.Semenov]

Есть ли разница где хранить изображения для записей для продвижения "картиночному" запросу: себя на сайте в папке uploads, на другом сервере, ли вообще в Google Диск?
Может ли нормально ранжироваться по запросам с "картинка" "фото" и.т.п. сайт полностью на хотлинке?

[AJIEKCAHDP_CEPrEEBI]

ОБЪЯСНИТЕ МНЕ, ПОЧЕМУ НЕЛЬЗЯ ФИЗИЧЕСКИ УДАЛИТЬ Где-то же она хранится?!

[seoshmeo]

Удалить из индекса Гугл массово можно немного проще.
1) можно удалять папками. По типу site.com/folder/
и все страницы улетят, которые в папке фолдер
2) есть плагин в хроме, который массово удаляет по УРЛу

[ОлегБуряк-чб]

Выражаю свое Уважение к вам Андрей! Проблема с индексацией после запрета в google в robots.txt остается и буду пробовать ваш предложенный вариант с запретом индексации в метатэге noindex noffolow!!! Зашел через Мишину Телегу - сработало кстати) сразу посмотрел). Ему тоже признательность вчера в пробище стоял 4 часа и пересмотрел еще раз все выпуски по мегаиндекс) думал все знал - ан нет есть моментик)

[ДмитрийКузнецов-цвч]

Если на странице размещен метаг тег (robots=noindex, follow) и тег каноникал, то как будет обрабатываться данная страница в поисковых системах? В файле robots.txt запрещающих директив нет. HTTP заголовков x-robots tag (410) тоже нет.

[maksim]

Хоть бы показал на примере. Пустое видео.

[dobzo]

В яндексе пачкой, в кривом гугле поштучно