Индексация сайта на Яндексе!

Вообще говоря, файл robots.txt для индексации сайта не нужен. Это файл, который, наоборот, указывает, что на сайте не нужно индексировать.
Но наш любимый Яндекс, как всегда, идет своим русским путём и плевал на международную практику.
Поэтому только для Яндекса этот rabots.txt и нужен, чтобы указать этому российскому оригиналу, какой сайт надо индексировать, с WWW или без WWW.
Все поисковики мира считают по умолчанию, что сайт без WWW это тоже самое, что и его поддомен с WWW. И нужно указывать в robots.txt только, если в поддомен с WWW заселяете другой сайт. Но Яндекс считает это неправильным. Яндекс думает, что изначально по умолчанию сайт с WWW и без WWW это разные сайты. Поэтому в robots.txt приходится указывать Яндексу, какой сайт нужно индексировать, сайт с WWW или без WWW.
То есть Вам нужно указать в файле robots.txt или
User-agent: Yandex
Host: www.site.ru
если Вы хотите, чтобы основным сайтом Яндекс считал сайт с WWW.
Или
User-agent: Yandex
Host: site.ru
если Вы хотите, чтобы основным сайтом Яндекс считал сайт без WWW.

Источник: Яндекс опасен и он знает это!

Этот файл скорее для запрета индексации определенных разделов и страниц.

Например.
User-agent: Yandex - это для яндекса
Disallow: /cgi-bin - какие каталоги не индексировать
Disallow: */comments
Host: www.site.ru - чтобы у тебя не увели сайт
User-agent: * для других поисковиков
Disallow: /cgi-bin
Sitemap: http://www.site.ru/sitemap.xml - где находится файл sitemap.xml