Может ли система шифрования создавать сама себя? Т. е. усложняя свой алгоритм самоусложняясь из самой себя?

Вся суть шифрования в том, что есть задачи, решение которых можно проверить крайне легко, но вот найти эти решения крайне сложно.
Так например RSA алгоритм базируется на вычислении двух очень больших простых чисел, потом по ним производится расчёт некоторых значений и их отправка второй стороне. Таким образом, зная эти значения, каждая сторона может зашифровать свои данные и расшифровать данные другой стороны. При этом расшифровать данные одной стороны с помощью её же ключа невозможно (это односторонний алгоритм). А следовательно, чтобы взломать передачу, нужно выяснить этих два простых числа. Но вот создать 2 простых числа не сложно. В то время как взять текст и начать просто к нему подбирать эти 2 числа является глупой затеей, ведь проверить все пары простых чисел в несколько десятков знаков длиной нереально. К моменту взлома любая информация потеряет актуальность, так как ей будет уже парочка десятков лет :)

Отсюда вывод, что методам шифрования не нужна никакая эволюция самих на себе. Они просто устроены по такому принципу, что их или можно взломать за приемлемый срок и тогда сколько уровней туда не накручивай, ничего не изменится, или же этого невозможно сделать за приемлемый срок, а тогда достаточно и одного уровня :)

В шифровании важен не сложный алгоритм, а сложность взлома этого алгоритма. Чем путанее описание алгоритма, тем больше вероятность внести ошибки, по которым его будет проще взломать. Почитайте книги Брюса Шнайера, например, "Прикладная криптография", там довольно понятно все расписано.

Нет. Система Шифрования это система Шифрования (просто алгоритм) .
Например все буквы перемещены на одну позиция.
Он не может усложнить саму себя так как это система.
Если будет только софт который перешифрует данные.