Верстка, CSS, HTML, SVG

robots.txt обязательный файл для блога?

Допустим на моем блоге 7 рубрик, в каждую рубрику выкладываю статьи, есть пару флеш игр и парочка книг на сайте которые можно скачать, Вопрос такой зачем мне файл роботс? Правильно ли мое мнение о том, что лучше пусть робот индексирует весь мой сайт, поскольку я хочу чтобы он индексировал и все игры с книгами и статьи, зачем мне создавать файл роботс, если я укажу в нём те же параметры для индексирования страницы, это статьи игры и книги. И вопрос по статье, если я пишу статью, как сделать гарантии на то что она моя, и я ее негде не спер?. Поправьте если не прав )
1.
Файл роботс нужен не для индексирования, а, наоборот, для запрета индексирования чего-то на сайте. Если есть, что запретить индексировать, то используйте его.

2.
Если люди что-то выкладывают в Интернете, то значит, они это выкладывают для того, чтобы это копировали и использовали все кому не лень в любых своих целях. Именно для этого и был создан Интернет - для свободного копирования любой информации. В Интернете нет средств для отслеживания авторских прав на контент и для защиты контента от копирования.
На все 100% гарантировать Вам такие вещи может только официальная регистрация Ваших авторских прав на статью в соответствующих органах государственной регистрации. Это долгая процедура и стоит она не дешево.
Поэтому, обычно, поступают проще. Обычно, первым сообщают поисковой системе о появлении на своем сайте нового текста. Это, конечно, никакая не регистрация авторских прав. И поисковые системы не дают никакой гарантии, что именно Ваш текст будет считаться оригинальным, а не его копия на каком-то очень трастовом сайте.
Но в более чем 90% это работает. Причем работает, это так, что если Вы регулярно сообщаете поисковикам о выходе новой статьи на Вашем сайте и все статьи у Вас только такие оригинальные, то повышается трастовость Вашего сайта. Поисковик начинает считать Ваш сайт источником оригинального контента.

В Гугле надо указать АДРЕС СТРАНИЦЫ с новой статьей СРАЗУ ПОСЛЕ ПУБЛИКАЦИИ новой статьи на сайте через аддурилку гугла (то есть там же, где указываете Гуглу о появлении нового сайта): http://www.google.com/addurl/

В Яндексе в сервисе Вебмастер https://webmaster.yandex.ru
ищите раздел "Содержание" и там подраздел "оригинальные тексты". Туда надо вставить САМ ТЕКСТ СТАТЬИ (без тегов) ДО ТОГО, КАК СТАТЬЯ БУДЕТ ОПУБЛИКОВАНА.
СС
Сергей Серяков
91 434
Лучший ответ
Равшан Садыков спасибо большое, отличный и понятный ответ!
robots.txt вообще необязатеньный файл.
Abdul Bambarbiya
Abdul Bambarbiya
53 011