Струсил в конфликтной ситуации, теперь очень стыдно и не могу прийти в себя, я не ожидал такого от себя

Со мной произошла недавно очень неприятная ситуация, первый раз такое в жизни. Мы шли с отцом по улице и проходили возле компании людей мужик, женщина, ребенок и собака. Мы о чем то разговаривали и отец описывал мне какую то ситуацию. Метров через 200 мы увидели что за нами идёт мужик, и вдруг он довольно сильно хлопает отца ладонью по спине и останавливает нас, мужик здоровый и видно что сильный. А отец уже достаточно пожилой человек. Он берёт отца за руку и угрожающим голосом начинает втирать что якобы отец что то сказал про них когда мы проходили мимо. Говорил он это с матом и было видно что он был выпившим или просто в неадеквате. Отец начал объяснять ему что это ошибка и что он ничего не говорил про него а мужик сказал мне "попробуй дёрнись". Всё это продолжалось несколько минут, мы объясняли ему что он ослышался. Мужик продолжая угрожать набить морду и метериться и говорил что типа он был в армии сапёром, воевал и как мы можем от него пострадать, после чего разошлись. Во всей этой ситуации я чувствовал что дрожжу от страха, я не мог выговорить ни слова, побоялся даже сказать чтоб перестал держать отца за руку. Место было не людное. Мне теперь страшно стыдно, я никогда бы не подумал раньше что окажусь таким трусом. Мне уже под 30. Спортом не занимаюсь, когда то занимался. Я несколько дней был в шоке после этого, стыдно что не вступился за отца, хотя он вообще не париться по этому поводу, говорит что мало ли придурков, главное что мы не пострадали. Но я не могу успокоиться, ведь подобная ситуация может повториться и я снова могу струсить. У меня в тот момент как будто всё сжалось и начало трясти. Потом даже прихватило живот. А если бы я оказался в такой ситуации с девушкой например? Не знаю как бы я повёл себя. В школе я был трусливым но потом повзрослев мне всегда казалось что я перестал таким быть. По жизни я крайне неконфликтный человек, никогда не дрался хотя таких ситуаций ещё не было со мной. Помогите мне пожалуйста советом, может быть у вас было что то похожее, как вы реагировали? Теперь думаю заняться спортом но не уверен что это в корне изменит ситуацию. Думал о том что надо было сразу врезать ему но вдруг он оказался бы сильнее и разбил бы нам лица... Сильно переживаю по этому поводу, всё время прокручиваю эту ситуацию в голове и жалею что не проявил себя как настоящий мужик. Буду рад любым комментариям, как вы думаете что я могу сделать чтобы такого не повторилось, как не трусить в таких ситуациях? Спасибо!