Насколько помню, этот файл нужен только поисковым системам: они считывают оттуда информацию, чего на сайте НЕ следует индексировать (страница недоработана, сайт является зеркалом с официального или ещё что-то). Если таких страниц нет, то ничего страшного в отсутствии файла.
Нечаянно удалил со своего сайта robots.txt. Как мне его восстановить?
+0.01$
+1 Cr
хороший вопрос
плохой вопрос
Вот примерно такой должен быть: http://шаблонище.рф/help-img/helprobot.txt только не забудь внизу поменять на свой адрес сайта и переименовать файл в robots.txt
Если таких страниц нет, то ничего страшного в отсутствии файла
Страшного в отсутствии роботса много. Многие почему-то значимость его недооценивают...роботс, пожалуй, единственный простой способ избавиться от дублирования контента на одном и том же сайте. А это, в свою очередь необходимо для того, что избежать пессимизации сайта поисковиками.