Сегодня увидел сообщение в Яндекс Вебмастер, читаем:
Новые правила обработки директив Allow и Disallow в файлах robots.txt
Добрый день!
Уведомляем вас об изменениях в обработке директивы 'Allow' файла robots.txt, с помощью которого вы можете разрешить или запретить индексирование сайта поисковым роботом Яндекса.
По новым правилам, если страница сайта попадает под действие нескольких директив 'Allow' и/или 'Disallow', то будет применяться директива с наибольшей длиной префикса URL. При определении длины префикса спецсимвол '*' не учитывается.
Если на вашем сайте в robots.txt совместно используются директивы 'Allow' и 'Disallow', пожалуйста, проверьте их на соответствие новым стандартам. В этом вам поможет наша форма проверки robots.txt.
Подробнее об использовании директив вы можете прочитать в Помощи.
--
С уважением,
Яндекс.Вебмастер
Раздел: Другое, последний комментарий: 10.03.2012 15:23 Тема закрыта пользователем stryker91
спасибо, ибо я не отслеживаю изменения в индексациях поисковиков, тупо - лень. но инфа оказалась полезна. яша со своей noindex достал, он его учитывает сейчас или нет, или достаточно nodofollow?
ВНИМАНИЕ для веб-мастеров!!!
