Как сделать систему приватных диалогов на php?

Если под приватными диалогами вы понимаете обычные личные сообщения, как на любых форумах, то общем виде так.

1) Создаете таблицу в БД, пусть будет priv_messages.
Поля (минимальный набор) примерно такие:
- id (ID сообщения, первичный ключ)
- created (дата время отправки)
- from_id (ID отправителя)
- to_id (ID получателя).
- message_text (текст сообщения).

Типы данных можете подсмотреть в чужих CMS, например https://wiki.phpbb.com/Table.phpbb_privmsgs

Создаете файл на PHP, который будет генерировать страницу со списком личных сообщений, код должен делать запрос вида "SELECT * FROM priv_messages WHERE to_id = :current_user_id" (это только для папки входящие), пример на PDO, значит к параметру current_user_id нужно привязать переменную с ID текущего пользователя, по идее у вас есть, раз сделали регистрацию и вход. Как оформлять вывод данных (в виде таблицы или списка) сами решаете.

Для отправки сообщения можно сделать отдельную страницу, размещаете обычную HTML-форму с полями "Кому", "Текст" и кнопкой отправить, при нажатии передаете данные методом POST, код на PHP добавляет запись (INSERT INTO priv_messages ...).

Не забывайте сделать разные проверки и ограничения, защиту от XSS и других

Ты хочешь делать, тебе кто-то должен рассказывать? :-) Юморист.
Это денег стоит.

Привяжи сообщения по id к отправителю и получателю, потом их соответственно в выборку добавляй.

с помощью одной из систем шифрования

Ну тут одного php мало будет. Наверное нужна база данных, в которой будет храниться переписка, а так же аккаунты с паролями. Я не вебщик так-то, а потом более глубоко не подскажу.

я знаю как это сделать но только текстовом виде