стоит ли быть с человеком к которому начинается лишь раздражение?

Нужно понять причину этого раздражения, по возможности устранить её, глядишь, и жизнь наладится:)

Нужно понять от куда появилось это чувство , а потом делать выводы.

стоит... научишься быть терпеливой и терпимой к людям