Алёна Свиридова
Алёна Свиридова

По robots.txt в Яше.



Пример файла:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php
Disallow: /index.php?*
Disallow: /index.php/
Disallow: /index2.php
Disallow: /index2.php/
Disallow: /index2.php?*
Disallow: *.pdf$

Host: мойсайт
Sitemap: http://мойсайт/option/com_xmap/sitemap/1/xml.html
Делал запрет ссылок вида /index2.php... но при обходе в индекс опять добавилась пачка запрещенных ссылок, такое чувство что поисковый робот не реагирует на robots.txt. Что я не правильно делаю?

"Думаю, что если Вы недавно измении роботс. ТХТ, то поисковики просто не успели еще убрать из индекса запрещенные старницы. "
Спасибо за ответ, я сделал запрет сразу во всех вариациях чтоб уж "наверняка", так как на форумах почему предлагались разные решения. Просто в Гугле такой ситуации нет. Я так понял из Вашего ответа, что в индекс ссылки будут попадать в обход robots.txt, а потом со временем исходя из него удаляться? Изменял неделю назад, в индекс вчера попали около 300 ссылок-запрещенных в robots.txt...Ну что ж, подождем тогда...

Bek-1 Djon
Bek-1 Djon

Вообще-то, достаточно только - Disallow: /index2.php
Остальные -Disallow: /index2.php/ и Disallow: /index2.php?* - излишне
Дело в том, что Disallow: /index2.php блокирует все страницы, в состав которых входит /index2.php. В том числе и /index2.php?123, и тд.
Думаю, что если Вы недавно измении роботс. ТХТ, то поисковики просто не успели еще убрать из индекса запрещенные старницы.

И еще, у яндекса есть вот такой сервис - http://webmaster.yandex.ru/robots.xml - он поможет проанализировать работают ваши условия или нет.
- Просто вводите адрес своего сайта
- Сервис загружает файл robots.txt с него
- Ниже вы указываете разные УРЛы своего сайта и жмете кнопку проверить.
- Появляется результат проверки. Те урлы, которые запрещены для индексации будут отмечены.

Похожие вопросы
Анализ файла robots.txt Индексация гугл.
Вопрос по robots.txt
после вставки robots.txt пропали страницы из поисковых систем
Подскажите что такое robots.txt и как его убрать с сайта? Чтоб зарегистрировать в поисковике яндекс
Альпинист Яша влез на вулкан! и там внизу была лава, он в нее упал, и теперь Яша лава и теперь Яша-лава и тепрь Яшалава)))
Robots.txt для Ucozа ?
Неправильно работает robots.txt
не пойму как на поддомен загрузить robots.txt (на основном домене он загружен)?
Как прописать в robots.txt, запрет модулей и только один разрешить?
htaccess и robots.txt