Потому что поисковые запросы пингуют разные файлы robots.txt. В случае с .com русских сайтов дофига, потому что они появлялись ещё и до популяризации интернета в России, где уже была CEO-оптимизация. А для .ru-зоны, появившейся сравнительно недавно, CEO-оптимизацией воообще никто не занимается. Все составляют свои описания сайтов, товаров и услуг чуть более чем полностью из ключевых слов. Меня, кстати, в своё время, когда изучал html, так и учили - пиши в robots.txt самую популярную дрянь, даже если этого на сайте нет. Всегда можно черным текстом на черном фоне написать статью снизу страницу, невидимую для людей, но железную для поисковых роботов! Зато твой сайт будет первым по любым запросам. Отсюда и бардак - ищешь холодильник, натыкаешься на проституток, секс-услуги девочек с веб-камерами и летнюю резину. А у меня и прав-то нет Т_Т Член хотя бы есть, уже здорово