Это нормально что поисковый робот яндекса- проиндексировал разделы Admin, modyles и другие внутр страницы?

Question

Я думал он только контент- должен индексировать? нужно ли ему запрещать доступ в индексирование админки сайта???

Олег Семенов · Accepted Answer

Для этого существует файл robots.txt в котором запрещаешь индексацию системных папок! Конечно на индексацию админки нужно поставить запрет!

Евгения Мяус · Answer

Да это нормально) но если вы что то желаете поменять - пропишите все в robots.txt

Маруся К · Answer

нормально он все равно половину страниц забракует потом а вообще в файле robots.txt можно указать что индексировать что нет, а также на странице какую часть индексировать и как.