часто слышал: "...если мне память не изменяет... " а с кем она может изменять и как?

Изменять — выдавать, вероломствовать, предавать, подводить; обманывать; доносить; покидать, отступаться.
То есть если память меня не подвела.