ЕП
Елена Павлова
Нужен. Обо всём можешь почитать здесь: http://robotstxt.org.ru/ в том числе и как создавать.
Кроме того есть ещё и humans.txt, который начали использовать не так давно, но он тоже влияет на выдачу в поисковиках. Детали здесь: http://netbloga.ru/sozdaem-pravilnyj-humans-txt/