Как научиться воспринимать на слух английскую речь? Говорю неплохо, но теряюсь, когда носители языка быстро отвечают мне

сериалы с субтитрами

Только слушать, смотреть, останавливать.

Надо пожить минимум месяц в среде. Вы начнете думать на языке. А это - первый шаг к пониманию.

Говорите медленней. Носители языка видят, что вы быстро говорите и думают что так же быстро и воспринимаете речь.

А я теряюсь когда ко мне обращаются на иврите.... теряюсь так, что даже забываю что могу их послать на чисто русском ))

Носители английского -это кто?
Почти вся планета лепечет на великом и надежном. Англичане на нем говорят бережно и спокойно. А к американцам не нужно и лезть - они сами не ведают о чем толкуют.

Больше практики, мой друг :-)
Есть куча сервисов, на которых можно практиковаться как платно, так и бесплатно, как с людьми изучающими язык, так и с носителями.
Есть много тематических групп в соц. сетях, где можно найти собеседника, который поможет с практикой.
Нет одного конкретного правила, - если Вы владеете грамматическими основами, понимаете устную речь актёров и преподавателей и имеете хороший словарный запас, то всё, что Вам нужно - это практика.
Я например использую инструмент "Разговорный клуб" в одной онлайн школе английского. Очень помогает. Занятия в разговорном клубе бесплатные (если Вы пользователь школы), можно записываться к разным преподавателям, в том числе и к носителям языка, - у каждого свой акцент, своя подача и дикция, все говорят бегло и немного развязно, что даёт ощущение погружения. При этом занятие проходят в интерактивном режиме, т. е. говорит не только преподаватель, он общается с Вами и Вам необходимо учиться отвечать осознанно на вопросы. И тут же он может поправить Вас, если что-то Вы говорите не так. Для меня это сейчас отличная практика.