вопрос такой,раньше как помню робот заходил 1-2 раза в неделю,сейчас же показывает что каждый день заходит,это просто для того что б люди не заваливали их письмами почему редко заходит робот,или реально теперь каждый день заходит
Раздел: Другое, последний комментарий: 02.05.2013 09:30 Вопрос закрыт пользователем Leningrad00
Ему можно самостоятельно указать через сколько дней заходить на сайт,через роботс!Все зависит от того как часто на сайт добавляется материал,у меня например стоит что бы каждый день заходил,так как контент добавляется каждый день!
есть такая тенденция, робот чаще стал ходить, но как то "не качественно"... раньше зашёл толку намного больше (по объёму инфы), сейчас буквально ровно в десять раз меньше берёт на индекс
По существу вопроса, топ абсолютно не причем, посещение поисковыми роботами сайта, связано напрямую с изменениями на сайте (добавление и изменение контента).
Добавлено спустя 01 минуту 05 секунд
Можно но не обязательно добавлять. Кстати как прописать правильно такое в роботс не подскажете?