⇢ ТМ
Таис Московская
АП
Анатолий Прокофьев
Этот файл служит для определения правил, которым будут следовать поисковики при учете того какие страницы вашего сайта нужно индексироватьта какие нет.
В принципе если Вы хотите что бы все страницы сайта индексировались поисковиками - он Вам ненужен. Ну или поместите туда такие строчки:
User-agent:*
Disallow:
Host: site.ru
где site.ru адрес главного зеркала
- - -
Если хотите разрешить индексацию только яндексу, тогда файл должен быть таким:
User-agent: *
Disallow: /
User-agent: Yandex
Disallow:
Host: site.ru
- - -
Если хотите разрешить доступ всем поисковикам, но запретить индексацию например всего что находиться в папке admin, тогда роботс. тхт должен быть следующим:
User-agent:*
Disallow: /admin/
Host: site.ru
Юльчик
Не стоит его убирать с сайта, нужно его грамотно настроить.
Валерий Угаров
его убирать не нужно, но если так мешает, rm robots.txt в каталоге
Похожие вопросы