ЕС
Екатерина Скокова
файл robots.txt создаётся для "общения" с поисковыми ботами различныхпоисковых систем.
в основном используется для запрета индексации определённых папок/файлов.
создать его можно либо руками (изучив структуру) либо онлайн генераторами