Фразу ты понимаешь правильно, буквально "Желаю быть там", или "Жаль, что меня там нет (или не будет)".
Перевод в прошедшем времени "Жаль, что меня НЕ БЫЛО там." - неправильный. Свастика, собачка и котик ошибаются.
"Was" здесь не обозначает прошедшее время, после I wish употребляется СОСЛАГАТЕЛЬНОЕ наклонение (Subjunctive), а у него своя система времён.
Если строго следовать правилам, здесь вообще должно быть I wish I WERE there, поскольку в сослагательном наклонении у глагола to be допускается только форма were, в любом лице и числе. Однако в разговорной речи это правило часто нарушается.
I wish I will be there - совершенно недопустимо, звучит примерно как русское "Хочу, чтобы я буду там."
Когда говорят об английских временах, по умолчанию подразумевают времена ИЗЪЯВИТЕЛЬНОГО наклонения. Но в английском есть и другие наклонения...