По robots.txt в Яше.
Пример файла:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index.php
Disallow: /index.php?*
Disallow: /index.php/
Disallow: /index2.php
Disallow: /index2.php/
Disallow: /index2.php?*
Disallow: *.pdf$
Host: мойсайт
Sitemap: http://мойсайт/option/com_xmap/sitemap/1/xml.html
Делал запрет ссылок вида /index2.php... но при обходе в индекс опять добавилась пачка запрещенных ссылок, такое чувство что поисковый робот не реагирует на robots.txt. Что я не правильно делаю?
"Думаю, что если Вы недавно измении роботс. ТХТ, то поисковики просто не успели еще убрать из индекса запрещенные старницы. "
Спасибо за ответ, я сделал запрет сразу во всех вариациях чтоб уж "наверняка", так как на форумах почему предлагались разные решения. Просто в Гугле такой ситуации нет. Я так понял из Вашего ответа, что в индекс ссылки будут попадать в обход robots.txt, а потом со временем исходя из него удаляться? Изменял неделю назад, в индекс вчера попали около 300 ссылок-запрещенных в robots.txt...Ну что ж, подождем тогда...