ОД
Ольга Данилова

Как правильно закрыть от индексации постраничную навигацию сайта в файле robots.txt?

Всем доброго времени суток, уважаемые.
У меня сайт, выполненный на движке Wordpress.
В результате анализа страниц на дубли, выяснилось, что Яндекс индексирует постраничную навигацию, таким образом частично дублируется контент сайта.
Приведу примеры:

хттп: //goldlass.ru/category/magiya-i-gadanie/page/3
хттп: //goldlass.ru/category/zhenskie-istorii/page/4
хттп: //goldlass.ru/category/vkusnyashka/page/9
хттп: //goldlass.ru/zapisi/page/2
Если я не ошибаюсь, то необходимо прописать в файле robots.txt переменную Disallow?
Только не ясно как именно.
Изначально файл robot.txt содержит строчку:
Disallow: /page/
Только Яндекс все равно индексирует постраничную навигацию!
Подскажите, как правильно прописать команду, чтобы не индексировались примеры ссылок, представленные выше?
Заранее благодарю за помощь!

Может следует прописать: Disallow: /page/*
Добавив "звездочку"?...

ПП
Памповая Птица

подробно эти причины были описаны на странице блога «Яндекс. Поиска» : «Почему всё находится»

попробуйте так

User-agent: Yandex
Allow: /cgi-bin
Disallow: /

– запрещает скачивать всё, кроме страниц, начинающихся с ‘/cgi-bin’.

вот здесь есть спец для вордпресса
http://cospi.ru/robots/

Похожие вопросы
Анализ файла robots.txt Индексация гугл.
Как добавить robots.txt правильно на сайт?
Указанный URL запрещен к индексации в файле robots.txt на сайте. txt на сайте??? помогите))
Как в Drupal 7 изменить слова в постраничной навигации "первая", "предыдущая", "Следующая", "Последняя" на свои ?
Как полностью снять запрет на индексацию на сайте ворд пресс robots.txt ?
Индексация сайта в яндексе
Нашла в яндексе ссылку, чтобы сайт в поиске был. 'Указанный URL запрещен к индексации в файле robots.txt... Помогите!
Проблемы с индексацией сайта
До сих пор не сработала индексация сайта. Пишет про Robots.txt, которого уже нет
Как закрыть ссылку от индексации?