Как создать robot.txt на wordpress. В частности, меня интересует, как закрыть от индексации комментарии

1) комментарии надо индексировать. но при этом комментарии обязательно модерировать)) )
Параметры → Обсуждение: галочку в "Автор должен иметь ранее одобренные комментарии" - обязательно, "Администратор должен проверить комментарий" - если вас все равно "достали" идиоты и спам-боты. Многие плагины (например, Fast Secure Contact Form, Contact Form 7 имеют возможность показывать Captcha. Ну, и Aksimet обязательно нужно настроить.

2) в robots.txt можно прописать адреса страниц, которые надо "закрыть" от индексирования. вам нужно закрыть только часть страницы.
поэтому robots.txt не подходит. написать же этот файл можно в любом текстовом редакторе - например блокноте и положить в корневую папку сайта.
закрыть от индексирования яндексом можно при помощи невалидного тега <noindex> ...</noindex> - все, что внутри яндекс прочтет, но индексировать не будет.
у Yahoo есть класс - "robots-nocontent" - все, что внутри элемента не будет индексироваться. <div class="robots-nocontent"></div>
- эти теги можно добавить в шаблон комментариев - обычно это comments.php в папке с вашей темой. (открывающий тег - в начало файла, закрывающий - в конец)
но у гугла есть только запрет перехода по ссылке - <a href"..." rel="nofollow">Внешняя ссылка</a>
а вордпресс и так "закрывает" все внешние ссылки в комментариях таким атрибутом.
скрыть от индексации всеми поисковыми машинами можно только с помощью "извращения" - выводить комментарии исключительно при помощи JavaScript
- но это чушь полная.

Странно, комментарии это новый контент, который Вам без ваших усилий генерируют пользователи, зачем их закрывать?

Вот здесь описано, что такое роботс с чем его едят и рабочий пример директивы с закрытыми комментариями
http://bookamba.ru/seo/kak-nastroit-robots-txt-dlya-svoego-sajta
А вообще в догонку советую просто смотреть популярные блоги конкурентов которые в топе выдачи и курить как у них сделан роботс.