Закрывать от индексации нужно то, что не нужно индексировать. Если на вашем сайте есть какие-то разделы или страницы, попадания которых в поисковые индексы вы хотите избежать, — эти страницы и разделы надо закрывать от индексации.
Вопрос немного о другом, у разделов урлы не такие как у страниц, входящих в эти разделы, а контент в разделе повторяет контент входящих в него страниц, поэтому получается вроде как накрутка индексации и как мне один доказывает - бан поисковиков.
Это называется дубли страниц. Я сам хотел выпилить из индекса рубрики и тэги, но потом понял, что это не влияет отрицательно на мой блог, а скорее даже наоборот. Это ведь лишние страницы в поиске и по ним довольно много переходов каждый день.
Вот например, почитайте эту статью (не реклама) - http://inetmkt.ru/seo-optimizacia/dubli-stranits-reshenie-problemyi
Читайте с момента, в котором говорится про тег more. Удачи!
Советую закрывать от индекса такие страницы. Они бесполезны для пользователя, а значит и в поиск их лучше не пускать. К тому же это дублирование контента. Для гугла эффект быстро положительный увидите... Яндекс чуть позже. Но дубли однозначно плохо..... Если только вы оформите рубрики таким образом, чтобы они были полезными и содержали уникальный контент...другое дело...
Пример:
категория на кулинарном сайте "Рецепты котлет"
Сверху обобщающий текст, а затем ссылки на статьи с рецептами соответствующими..такая страница полезна.
Уверяю Вас что есть разница куда попадают пользователи на рубрики или на конечную страницу, которая им и нужна.
Как это могут такие страницы не являться полезными пользователю? Да обычно на такие страницы и выкидывает пользователей по СЧ запросам (например, "бесплатные программы для контакта")!
ПС не будет выкидывать из поиска (в том смысле дублировать) подобные страницы, ибо поисковики смотрят на страницы со стороны вложенности их в том числе. Роботы не настолько глупы чтобы выкидывать из поиска больше половины сайтов, которые так и работают (главная-категория-подкатегория-материал).
Добавлено спустя 02 минуты 25 секунд
Правильно сделали, что не выкинули из поиска, хотя опять же надо судить по ситуации, я вашей ситуации не знаю..
А вот с тегами уже надо быть аккуратнее. Теги могут попасть под фильтры так сказать (тут уже все зависит от ситуации).
Добавлено спустя 03 минуты 27 секунд
Фильтры может быть и будут, ну не какой уж там бан.
А вообще доказывать очень глупо что-то, если и сайта в глаза не видел, ибо как можно судить, не проанализировав его, верно? )
все зависит от тематики. Есть тематики где эти страницы могут пригодиться, но по большей части они бесполезны, особенно если рубрики расставлены не с умом, а абы как натыканы...
ВЫВОД:
Если каждая страница с рубрикой будет уникальная в своем роде и не будет большого количества почти полностью эдентичных рубрик, то такие страницы безусловно полезны.
Т.е. хотите сделать их полезными ?
Делайте более продуманные рубрики и по одной на статью, чтобы статья не была а 10 таких рубрик.
Или сделайте предложенный мною выше вариант. Когда рубрика имеет свое уникальное описание.
К сведению запросы вроде "бесплатные программы вконтакте" не являются конкурентными, поэтому там и говна выше крыши.
Допустим, у меня сайт "Медицина". Есть другой сайт "Генетика". Я публикую некоторые статьи из сайта "Генетика" на своем сайте. Людям это интересно (ктсати, я даю на "Генетику"ссылку). Моя рубрика - типа "Новости генетики".
Естессно, в роботсе я закрываю доступ к этой рубрике.
Мне важно, чтобы на мой сайт заходили и считали интересным ( посещаемость)