Как программа криптографически может сохранить свои данные?

А для этого у каждого клиента должен быть свой приватный ключ, которым он будет шифровать свои данные. А на сервере должны храниться публичные ключи всех клиентов.

Метод шифрования с публичным ключом для того и придуман, чтоб любой желающий мог зашифровать и передать зашифрованные данные, а не для того, чтобы что-то различать. Чтоб различать, в сообщении могут быть указаны конкретные данные, пароли, всё что угодно.

Вообщето все просто используется две пары открытый ключ закрытый ключ, причем владельцы ключей имеют пару из ключ для шифования закрытый и открытый - что происходит: у нас есть закрытый ключ шифрования и мы им шифруем сообщение, если получатель открытым ключем смог его дешифровать - значит он получил его от нас (он убедился в подлиности, только мы имеем закрытый ключ шифрования), второй ключ занимается защитой данных, так как расшифровать этот текст может только владелец закрытокого ключа дешифрования

>> Но никто не запретит выдрать публичный ключ, с которым можно посылать данные на сервер, и он не будет различать от кого посланы эти данные. Как этому противостоять?

Никак. Клиент не должен быть заинтересован в утечке ключа и должен сам этому противостоять.
Самый элементарный пример - клиент-банк, у клиента аппаратный ключ ЭЦП и он ну совсем не заинтересован, чтобы его украли (выдрали).

И Андрей правильно написал, у каждого клиента должен быть свой приватный ключ. p.s. Проблему это конечно, не решает.