Если движек джумла, то попробуй так (как пример) :
User-agent: *
Allow: /images/articles/
Allow: /images/portfolio/
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /awstats/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /cli/
Disallow: /components/
Disallow: /htdocs/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /watermark/
Disallow: /component/*
Disallow: /component/
Disallow: /component/search/
Disallow: /component/content/
Disallow: /component/mailto/
Disallow: /component/users/
Disallow: /component/user/
Disallow: /xmlrpc/
Disallow: /images/articles/slovar-dizaynera/
Disallow: /*/images-Disallow/*
Disallow: /index.php?option=com_mailto
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /error.php
Sitemap: *************************************************
User-agent: Yandex
Allow: /images/articles/
Allow: /images/portfolio/
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /awstats/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /cli/
Disallow: /components/
Disallow: /htdocs/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /watermark/
Disallow: /component/*
Disallow: /component/
Disallow: /component/search/
Disallow: /component/content/
Disallow: /component/mailto/
Disallow: /component/users/
Disallow: /component/user/
Disallow: /xmlrpc/
Disallow: /images/articles/slovar-dizaynera/
Disallow: /*/images-Disallow/*
Disallow: /index.php?option=com_mailto
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /error.php
Host: *********************************
Sitemap: *****************************************************
Другие языки программирования и технологии
Как правильно составить robots.txt?Куда его разместить? Если мне не надо индексировать страницу регистрации и еще кое что
Очень полезная информация, как раз по вашему вопросу. Здесь все популярно расписано от А и до Я. Даже есть видеоматериал.
robots.txt
robots.txt
Размещается в корне сайта. Это простой текстовый файл в формате txt В нём ты закрываешь или разрешаешь индексацию роботам свои страницы решать тебе какие. Какой движок сайта у тебя? Можешь подсмотреть на других сайтах просто набери адрес сайта например site.ru/robots.txt
Похожие вопросы
- Как написать файл robots.txt?
- Как правильно составить рекурентную формулу?)
- Правильно составлена прога? C++
- Нужен bat файл, чтобы переименовал все txt файлы в папке, заменяя имя на первую строку содержимого файла
- Си. Программа читает файл txt и заполняет находящимися там числами массив, но
- Если есть профи, помогите. Делаю сайт уже пол года, а некоторые поисковики не хотят его индексировать.
- Подскажыте почему яндекс не индексирует мой сайт
- Помогите разобраться со структурой txt файла( не совсем програмирование, но всеже)
- Удалить все пустые строки в .txt
- вместо того, чтобы открыть файл hosts с помощью блокнота, я изменил расширение на .txt Теперь файл выглядит как блокнот