вопрос к действительно знающим о чем разговор
как запретить посещение блога (платформа Блогспот) сети такого типа - ec2-204-236-200-89.compute-1.amazonaws.com
ec2-54-234-7-209.compute-1.amazonaws.com
есть такой код - RewriteEngine On
RewriteCond %{HTTP_REFERER} ^http://.*amazonaws\.com [OR]
RewriteCond %{REMOTE_HOST} ^.*\.compute-1\.amazonaws\.com$ [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "AISearchBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "woriobot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "heritrix" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "NetSeer" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Nutch" [NC]
RewriteRule ^(.*)$ - [F]
куда его следует прописать - я не уверена, что в пользовательский файл robots.txt или я ошибаюсь?
или есть еще предложения?