Необходимо удалить URL-адреса из материалов сайта, индексируемого поисковыми машинами? Для небольшого числа адресов, это может быть относительно простой процесс. Но, когда вы имеете дело с тысячами или десятками тысяч, это может быть намного сложнее. Есть много возможных причин, но вот некоторые наиболее распространённые:

— Вы обнаружили массовое содержание повторяющихся адресов на страницах вашего сайта. Мы все знаем, что дублировать содержание плохо. В больших количествах это может определенно повлиять на трафик и рейтинги, поэтому избавиться от дубликатов очень важно.

— Вы получили уведомление Google Webmaster Tools, о страницах, нарушающих принципы Google. Что еще хуже, оно зачастую может сопровождаться падением трафика.

Если у вас есть большое количество страниц, которые необходимо удалить, и есть основания полагать, что Google и Бинг будет сканировать их на более медленной скорости, возможно, потребуется перейти к более решительным действиям. Веб-мастера, практикующие профессиональное создание сайтов в ростове-на-дону, советуют, например, два основных инструмента:

— Тег NoIndex. Это довольно просто. Поместите такой код на страницу, которую необходимо проигнорировать. В следующий раз, когда поисковые системы сканируют страницу, они пройдут через NOINDEX тег, который сообщит им, что не стоит включать страницы в свой ??индекс (или удалить страницу из индекса, если он уже есть).

— Robots.txt. Добавив страницу или папку в список «Запретить» в файле robots.txt, вы не удаляете ее из индекса, а просто говорите поисковым системам не посещать эту страницу или папку. Таким образом, это скорее профилактическая мера.