Так как же всё таки выучить эти чёртовы времена глагола?

Возможно вам следует исходить из условий описываемой ситуации, а не пытаться выучить их механически

все-аки
выбросить слово "чертовы" из головы
и заинтересоваться ими
(см. книгу А. Колпакчи "Дружеские встречи с английским языком",
в ней - глава "26 форм глагола и одна лягушка")

Очень просто: изучай не форму, а смысл. Форм 16, смыслов около 80. Используй хороший учебник. Вот пример для present simple.
Форма: вспомогательный глагол do/does, смысловой глагол в инфинитиве (с окончанием s в третьем лице единственного числа).
1. Обычное, постоянное действие, происходящее вообще, а не в данный момент. He goes to school. Он ходит в школу. Yes, I speak French. Да, я говорю по-французски.
2. Нынешнее состояние. I am thirsty. Хочу пить.
3. Вечные истины. Two by two makes four. Дважды два - четыре. The sun sets in the west. Солнце садится на западе.
4. События в момент речи с глаголами чувств, восприятий, состояния души или вещей. See, hear, recognise, want, know, understand, include, belong, need. Do you understand? Понимаешь? I don’t hear you. Я тебя не слышу.
5. Будущие события в придаточных предложениях. I will tell him when he comes. Я скажу ему, когда он придёт. I don’t care what he says or what he does. Мне всё равно, что он скажет или сделает. Who comes first will get a prize. Кто придёт первым – получит приз. I will love you whatever happens. Я буду любить тебя, что бы ни случилось. Next time I will do as you say. В следующий раз я сделаю, как ты скажешь. If, unless, provided that, until, till, as soon as, before, when…
6. Будущие события с глаголами движения и расписания. The match starts at five. Матч начинается в пять часов. The ship sails tomorrow. Корабль отплывает завтра.
7. Действия в настоящий момент в комментариях. Ronaldo shoots and it’s a goal! Рональдо бьёт и забивает! We mix the sauce and pour it into the pan. Перемешиваем соус и выливаем его в кастрюлю.
8. Наравне с будущим временем для описания будущих событий в предложениях, начинающихся с выражений типа. I hope you do well. Надеюсь, у тебя всё будет хорошо. I assume she doesn’t come. Полагаю, она не придёт.
9. Будущие события при уверенности, что они наступят. Tomorrow is Sunday. Завтра воскресенье. He retires next month. В следующем месяце он выходит на пенсию.
10. Хронология событий. In 1957 the USSR launches its first satellite. В 1957 году СССР запускает свой первый спутник. Two years later he finishes his research. Два года спустя он заканчивает свои исследования.
11. Приказы, команды. Stop it! Прекрати это! Come on! Пошли!
12. Восклицательные предложения. Here he comes! Вот он идёт! There goes the bus! Вон идёт автобус!
13. Прошедшие события для оживления повествования. And then Mike comes up to me and slaps me on the back as if we were friends. А потом Майк подходит ко мне и шлёпает меня по спине, как-будто мы друзья.
14. Заголовки газет и новостей. Princess Diana dies in a car crash. Принцесса Диана погибает в автокатастрофе. Dollar falls. Доллар падает.
15. Предшествующие события с глаголами речи и восприятия. I hear you are going to move. Говорят, вы собираетесь переезжать. I forget your name. Не помню ваше имя.

Мозги включить и потренироваться в упражнениях. Всё. В английском достаточно гораздо более сложных тем, чем времена..

Там одна таблица 4х4, что там учить?

Тупо задрачивать. В башке себе представляешь когда было, до скольки, со скольки до скольки, и закончилось ли вообще, и произносишь вслух. Бесполезнейшее занятие. Сами носители языка так не делают.

Есть статейка на тему, очень интересно - bit.ly/3wZHn3k

Предлагаю пользоваться правилам "если долго мучаться, что-нибудь получится". Работает, проверено.