Почему так бывает?

На количестве связывающих вас эмоциональных моментов - своих для каждого

На том впечатлении, которое один человек произвёл на другого (того, кто ЗАпомнил) .
Причём впечатление может быть как внешним, поверхностным, даже ассоциативным (очень похож внешне на дорогого или просто значимого человека) , так и глубоким, внутренним... Как осознанным. так и подсознательным... Например, человек напоминает нам кого-то неприятного и подсознание гонит прочь эту ассоциацию. .
Не имеет значения... Важно только, насколько сильное впечатление.

наверно на каких-то маркерах, с которыми увязывается все воспоминание

На интересе. Вы можете даже не заметить, чем заинтересовал вас данный человек, но он успел войти в Мир ваших ценностей. ну а несовпадение ценностей - великая игра Вселенной :)

когда человек не интересен всегда возникают проблемы с памятью

вы не их слушаете, а себя.

В течении жизни через человека проходит огромное количество информации, которая откладывается в подсознании, а снаружи - только та, которую хочет запомнить сам человек. Которая ему импонирует. То, что человеку не нужно - он не запоминает, а то, что хочет запомнить - будет все время в его голове, независимо, хорошее или плохое. Все запомнить невозможно, наверное, если бы человек все помнил - он бы давно с ума сошел, а так он на автомате включает то, что дало бы ему возможность спокойно жить и спать. Иначе мысли и образы скрутили бы его. Просто они приходят к нам во сне, в виде нелепых, ярких и необычных сюжетов, которые смешались в кучу. Потому, что там, в подсознании - целая Вселенная звезд-мыслей, образов, воспоминаний. Анализируйте сны - это интересно, и плюс ко всему может помочь себя вспомнить (нюансы своей психики, людей и т. д.)