Держи готовый роботс у меня на сайте такой стоит все норм просто замени mysite.ru на название своего сайта , и будет тебе счастье , да и не забуть кинуть его в корень сайта
Найди в корне сайта на хостинге robots.txt и измени его содержание на правильное, а правильное содержание robots.txt можно найти в инете в зависимости от движка твоего сайта.