Как отпустить человека, который сам не отпускает и не держит?

Не могу построить нормальные отношения с парнем, потому что всегда думаю о другом. Мы периодически встречаемся, общаемся с тем, другим человеком, да я уже и не надеюсь на какие-то серьезные отношения с ним, просто меня к нему безумно тянет! Он тоже не забывает меня, вклинивается в мою жизнь, когда удается не думать о нем... В общем мы оба не можем построить отношения с другими людьми. Я не понимаю, кто же я для него...