Вопрос #32224

 #  

 #  

http://yapro.ru/web-master/xhtml/kak_zapretiti_indeksaciyu_nujnih_stranic.html п.4:

User-Agent: *
Disallow: www.myhost.ru/cgi-bin

Можно попробовать закрыть домен без "www":

User-Agent: *
Disallow: mysite.ru

Добавлено спустя 04 минуты 04 секунды
Или чуть ниже, под заголовком "Как выбрать главный виртуальный хост из нескольких зеркал?".

 #  

Ха... Помнится где то пару месяцев назад я хотел сделать тоже самое. И ты говорила мол не парься, не майся ерундой оставь как есть т.к. это не влияет на выдачу! Я попробовал сделать то что советовали люди в результате яндекс выбросил сайт из поиска. После чего мне пришлось обращаться к Платону.

Добавлено спустя 08 минут 33 секунды

#499372 пишет

User-Agent: *
Disallow: www.myhost.ru/cgi-bin


Можно попробовать закрыть домен без "www":
User-Agent: *
Disallow: mysite.ru

Ага яндекс тоже говорит что нужно делать именно так и в результате исключает все страницы вообще

 #  

Файл robots.txt состоит из записей. Каждая запись содержит два поля: строка пользовательского агента (User-agent) и строка запрета (Disallow). Так, запрет для индексации роботом Google содержимого папки cgi–bin будет выглядеть следующим образом:

User-agent: googlebot Disallow: /cgi-bin/ Использование символа "*" в поле пользовательского агента будет значить, что запрет распостраняется на всех роботов:

User-agent: * Disallow: /cgi-bin/В данном случае индексация папки cgi-bin запрещена для всех роботов.

Используя символ "*" можно запретить также индексацию определенного типа файлов по расширениям. Так следующая запись запрещает всем роботам индексацию файлов с расширениями .doc и .pdf:

User-Agent: * Disallow: /*.doc$ Disallow: /*.pdf$Запись, начинающаяся

 #  

Какой РОБОТС Вы что :)

в файле .htaccess нужно прописать эту фигню

RewriteEngine On
RewriteCond %{HTTP_HOST} ^сайт.ru$ [NC]
RewriteRule ^(.*)$ http://www.сайт.ru/$1 [R=301,L]
ErrorDocument 404 /error404.html

все.

 #  

Погоди несного! Поисковики склеят оба домена в один. У меня уже и яндекс и гугл склеяли.
Так что проблем с этим нет!

 #  

Рано или поздно поисковики поймут

 #  

я сделал основной домен без www через 301 редирект

 #  

#682851 пишет

Погоди несного! Поисковики склеят оба домена в один. У меня уже и яндекс и гугл склеяли.
Так что проблем с этим нет!

впервые слышу, что клей - это хорошо.
у меня также склеялись домены в яндексе, причем он принял домен с www за главное зеркало... прописал в роботс строку
Host: mysite.ru
уже больше недели изменений нет

 #  

SCORPION1992 пишет

#682851 пишет

Погоди несного! Поисковики склеят оба домена в один. У меня уже и яндекс и гугл склеяли.
Так что проблем с этим нет!

впервые слышу, что клей - это хорошо.
у меня также склеялись домены в яндексе, причем он принял домен с www за главное зеркало... прописал в роботс строку
Host: mysite.ru
уже больше недели изменений нет

попробуй 301 редирект, это лучший способ обозначит основной домен.

 #  

#747045 пишет

попробуй 301

Посмотри мой пост именно о нем я и писал

 #  

посмотрите вот здесь - как его закрыть http://www.itmurman.ru