Знаю многие правила и времена в английском языке, но во время разговора на английском ничего не могу применить.. (ниже)

Очень просто - надо не с русского на английский в голове переводить, а набрать побольше синтаксических шаблонов (путем упорного многократного - по 10-15 раз, пока не начнет "отскакивать от зубов", пока не станет понятно каждое слово - прослушивания одних и тех же фраз из учебных пособий или фильмов) и сперва начать выдавать эти фразы без изменений, а потом начать "крутить" их в голове, меняя их:

I suppose I hadn't done this before you arrived.
I suppose he hadn't done this before she arrived.
I suppose they hadn't done this before I arrived.

И т. д. И так по дороге на работу, в школу, куда угодно. Т. е. суть в том, чтобы изначально мыслить на английском. Да, сперва это покажется медленно, но где-то через полгода-год результаты будут более чем осязаемы. А русский язык в качестве "посредника" - это костыли. И как быстро на них ни ходи, костыли останутся костылями. Их нужно отбрасывать, и отбрасывать как можно раньше. Мы же не переводим в голове на русский еще с какого-то языка в процессе речи, а просто говорим по-русски. Вот и с английским необходимо действовать так же.
P.S. Ну и разговорная практика, естественно, нужна, чтобы весь этот наработанный мысленный "багаж" оживить. Совсем без неё все-таки тяжело, сам с собой особо не поговоришь.

В разговорной речи меньше времен.
Чтобы не думать о согласованиях, а само выходило, как надо,
надо много читать художественной литературы и пересказывать
отрывки (ну и смотреть видео и общаться побольше))
Голую грамматику без лексики и практики учить смысла нет.

А их максимум столько и используется)
Проводились исследования частотности использования времен, в основном в ходу Present и Past Simple, Present Perfect. Ну, Progressive, только не в значении длительного, а в других значениях.
Это во-первых.
Во-вторых, "знаю" описывает самый начальный уровень владения языком. Следующим должно быть "умею", потом "обладаю навыком", когда сознание не контролирует, как вы говорите/понимаете. То есть правила задвинуты глубоко в подсознание. Для этого нужно много упражняться. Часов, дней, лет... Если диалог - то с собеседником. Если монолог - то с самим собой.
А "знаю" - это ни о чем.

Учебник Голицынского "Грамматика англ. языка" - там много правил и упражнений по временам.

На курсы ходи