Пытаюсь общаться с носителями на англ. Их сложно понять, чувствую себя дурой.. . Неужели так сложно научиться?

В чем вопрос? На первых порах такое общение дается непросто, но со временем станет легче. Не переживайте, что что-то непонятно. Иностранные языки изучают годами. Если Вы говорите об устной речи, то, говоря на родном языке мы часто додумываем, что сказал собеседник, так как знаем, что можно ожидать в той или иной ситуации. А если этого не знать, то многое из того, что произносится остается непонятным из-за нечеткой артикуляции.
Как давно Вы изучаете английский язык? Если базовой лексикой владеете, то приобретите толковый англо-английский словарь и читайте словарные статьи. Или используйте онлайн-версию, например вот эту:
ldoceonline.com
Чтение словарных статей с толкованиями слов и примерами употреблений развивает понимание английского синтаксиса, который очень отличается от русского, и одновременно пополняет словарный запас.
Также неплохо приобрести справочник и сборник упражнений по грамматике. Например, English Grammar in Use (автор Raymond Murphy). Знание грамматики позволяет быстрее понимать синтаксическую структуру предложения и его смысл.
Рекомендую каждый день писать небольшие тексты на английском, и предлагать их носителям для проверки. Это можно делать на сайте lang-8.com
Если есть возможность, запишитесь на курсы английского, ориентированные на развитие разговорных навыков.

больше практики, тренируйтесь в аудировании

не расстраивайся. они ещё глупее. ты хоть пытаешься на их языке разговаривать, а они что могут?

Научиться нелегко - это однозначно. Я сразу развею илюзии насчет "свободного" общения. Если вы не живете в языковой среде, то свободно говорить, как на русском вы НЕ сможете. Можете преуспеть в грамматике, переводах, но для общения и понимания нужна практика

английский -- самый лёгкий из европейских языков

Не можете различить их слова? Вам нужно больше смотреть фильмов с оригинальной дорожкой.

чаще общайтесь и будет все ок.