как настроить robot.txt для сайта на ruby on rails?

Question

как настроить robot.txt для сайта на ruby on rails? да и вообще нужно ли настраивать его? по сути все индексируется, но всеже для уверенности хочется настроить все конкретно. вот что сейчас написано в файле
# See http://www.robotstxt.org/wc/norobots.html for documentation on how to use the robots.txt file
#
# To ban all spiders from the entire site uncomment the next two lines:
# User-Agent: *
# Disallow: /

ватофак это означает и что нужно? прям ссылки вставлять?

Даня Криволапов · Accepted Answer

User-Agent: Googlebot 
Disallow: /? 
Disallow: /dlya_vstavki/ 
Disallow: /admin 
Disallow: /emarket/addToCompare 
Disallow: /emarket/basket 
Disallow: /go-out.php 
 
User-Agent: Yandex 
Disallow: /? 
Disallow: /dlya_vstavki/ 
Disallow: /admin 
Disallow: /emarket/addToCompare 
Disallow: /emarket/basket 
Disallow: /go-out.php 
 
Host: вставишь ссылку своего сайта в начале сделаешь 1 пробел 
Crawl-delay: 3 
User-Agent: * 
Disallow: /? 
Disallow: /dlya_vstavki/ 
Disallow: /admin 
Disallow: /emarket/addToCompare 
Disallow: /emarket/basket 
Disallow: /go-out.php 
 
Sitemap: вставишь ссылку своего сайта в начале зделаешь 1 пробел 
 
Вставишь в главную страницу

Анна Адылова · Answer

Это не имеет отношения к тому, на чем написан сайт, прочитай в инете про robots.txt сам поймешь