Я женат, а люблю другую (подробности внутри)

Женился рано, в браке уже 4 года, до супруги отношений ни с кем никогда не было. Сейчас возникают сомнения в том, что буду с ней счастлив до конца наших дней. В данный момент очень тепло отношусь к одной девушке... может быть я ее даже люблю, но как-то страшно себе в этом признаваться. Расстаться с женой не могу: она меня любит, по крайней мере, очень тепло относится... Сам для себя такой шаг считаю предательством по отношению к ней. Думаю, что всему причина - мой эгоизм, возможно стоит потерпеть, и все посторонние мысли уйдут сами собой. Посоветуйте.