Другие языки программирования и технологии

Как правильно составить robots.txt?Куда его разместить? Если мне не надо индексировать страницу регистрации и еще кое что

Если движек джумла, то попробуй так (как пример) :

User-agent: *
Allow: /images/articles/
Allow: /images/portfolio/
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /awstats/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /cli/
Disallow: /components/
Disallow: /htdocs/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /watermark/
Disallow: /component/*
Disallow: /component/
Disallow: /component/search/
Disallow: /component/content/
Disallow: /component/mailto/
Disallow: /component/users/
Disallow: /component/user/
Disallow: /xmlrpc/
Disallow: /images/articles/slovar-dizaynera/
Disallow: /*/images-Disallow/*
Disallow: /index.php?option=com_mailto
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /error.php
Sitemap: *************************************************

User-agent: Yandex
Allow: /images/articles/
Allow: /images/portfolio/
Allow: /index.php?option=com_xmap&view=xml&tmpl=component&id=1
Disallow: /administrator/
Disallow: /awstats/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /cli/
Disallow: /components/
Disallow: /htdocs/
Disallow: /images/
Disallow: /includes/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /watermark/
Disallow: /component/*
Disallow: /component/
Disallow: /component/search/
Disallow: /component/content/
Disallow: /component/mailto/
Disallow: /component/users/
Disallow: /component/user/
Disallow: /xmlrpc/
Disallow: /images/articles/slovar-dizaynera/
Disallow: /*/images-Disallow/*
Disallow: /index.php?option=com_mailto
Disallow: /*com_mailto
Disallow: /*pop=
Disallow: /*lang=ru
Disallow: /*format=
Disallow: /*print=
Disallow: /*task=vote
Disallow: /*=watermark
Disallow: /*=download
Disallow: /*user/
Disallow: /404
Disallow: /index.php?
Disallow: /index.html
Disallow: /*?
Disallow: /*%
Disallow: /*&
Disallow: /index2.php
Disallow: /index.php
Disallow: /*tag
Disallow: /*.pdf
Disallow: /*.swf
Disallow: /*print=1
Disallow: /*=atom
Disallow: /*=rss
Disallow: /error.php
Host: *********************************
Sitemap: *****************************************************
СМ
Сэр Маженоff
5 799
Лучший ответ
Очень полезная информация, как раз по вашему вопросу. Здесь все популярно расписано от А и до Я. Даже есть видеоматериал.
robots.txt
Размещается в корне сайта. Это простой текстовый файл в формате txt В нём ты закрываешь или разрешаешь индексацию роботам свои страницы решать тебе какие. Какой движок сайта у тебя? Можешь подсмотреть на других сайтах просто набери адрес сайта например site.ru/robots.txt
ПА
Паша Аникин
1 226