Английскую грамматику знаю очень хорошо, но вот с понимаем, это как будто совершенно другой язык, в чем подвох? )

В отсутствии практики. Невозможно научиться кататься на велосипеде, в теории изучая, куда ставить ноги и как крутить руль. Надо сесть и попытаться поехать. Только так выработается навык.
Чтобы научиться читать, надо ЧИТАТЬ, а не просто слушать сказки на ночь. От того, что ребёнок слышит, как ему читает мама, сам он читать не научится. А чем больше ты сам читаешь, тем выше становится скорость чтения. Хотя это вовсе не означает, что ты будешь быстро писать.

Вы понимаете, что я хочу сказать? Для выработки определённого навыка надо тренировать именно ЭТОТ навык. То есть чтобы научиться воспринимать речь на слух, надо больше слушать. Слушать, слушать и слушать. Слушать треки на дисках к учебникам, аудиокниги. Сначала слушайте и глазами следите за текстом в книге. Потом слушайте трек, а в текст не смотрите параллельно, то есть уберите зрительную опору. Но пытайтесь повторить то, что вы услышали. (воспользуйтесь паузой, можно проверить себя по тексту уже после повтора) . Затем постепенно убирайте зрительную опору совсем. Смотрите и слушайте англоязычные каналы, естественно, не забыаая о грамматике и пополняя словарный зарас. Как можно узнать слово, если оно тебе незнакомо? Знания грамматики важны, конечно, но лексика первична в данном случае. Если непонятно, ЧТО он, например, сделал, то уже какая разница, когда, то есть какая видовременная форма у глагола?

Собственно, языком-то никто особенно и не стремится овладеть. . .Вещь будет пострашнее Конституции РФ.

Это свод правил, законов - по которым ДОЛЖНО действовать органу речи, тоже ЯЗЫКУ.
Речь, как правило, идёт о РЕЧИ! И письменной, в том числе.. . Владении грамотой. . .
И в сознательном возрасте неплохо отдавать себе отчёт - зачем? Для пользования справочной литературой?
Прохождения кастингов-отборов, поступления в ВУЗ, торговли на бирже? Или просто хобби. . .

То есть лучше всего взять за основу именно этот узкий сектор, подобрать компанию - ибо средство общения, прежде всего! И овладев до стадии понимания - расширять (ся)

А как дела с знанием лексики?