Патисон, те не жалко времени на этот "РОБОТС.ТХТ" и вообще пауков...
Наиболее вероятными причинами ограничения могут послужить:
* Попытка доступа к системным ресурсам веб-сервера (например, файлам .htaccess или .htpasswd) или к файлам, доступ к которым был закрыт с помощью конфигурационных файлов.
* Для доступа требуется аутентификация не средствами HTTP (например, для доступа к CMS или разделу для зарегистрированных пользователей).
* Сервер не удовлетворён IP-адресом клиента (например, временная блокировка из-за частых обращений или же на этапе разработки приложения доступ разрешён только некоторым IP).
чего его читать, он по умолчанию (образно)пустой.
Если ты ставил пароли на доступы к темам или ограничения по IP, то конечно спайдеры эти страницы не читают.
Например у тебя на сайте есть закрытые темы от всех и только после определённой регистрации или разрешения по статусу входа-они доступны!
Тут ни какой РОБОТС.ТХТ не поможет, так как пароля то у поисковиков нет.
Для безопастности сайта и его быстрой индексации-
ЛУШЕ в robots.txt закрывать админские как минимум паки!