Почему люди не понимают, что чтобы разговаривать надо уже прилично знать язык и считают разговорный самым низким уровнем

Они думают, что это бытовой уровень набора слов для выражений.
Просто путают понятия и откровенно глупят или тупят.
Разговорный есть один из самых высоких уровней владения языком.
Люди думают, что если умеют сказать здрасьте и пока, да и нет - то это уже у них разговорный уровень владения.

С одной стороны, вы правы. Умение бегло и грамотно изъясняться на иностранном языке - это, безусловно, весьма высокий уровень владения языком.
В то же время вы не правы. Есть немало людей, кто, прожив несколько лет в чужой стране, свободно общаются с окружающими, но при этом имеют весьма смутное представление о грамматике, да и язык их является "разговорным" в худшем смысле этого слова, т. е. насыщен сленгом и максимально упрощен в плане грамматических конструкций.
Конечно же, те, кто, как вы пишете, считают разговорный самим низким уровнем, имеют в виду именно этот второй вариант.

По сути дела это ДВА РАЗНЫХ УРОВНЯ разговорного языка. Так же как и нас в России: одни люди прекрасно владеют нормальным богатым живым разговорным русским языком, а другие - не менее свободно изъясняются на убогом и примитивном, где все эмоции выражаются с помощью мата.

Не знаю, кто считает самым низким. Самый низкий - это "читаю со словарем". Разговорный язык - это уже определенный уровень. Но это уровень невысокий. Потому что владея разговорным языком вы не сможете, например, общаться на узкие профессиональные темы, даже по вашей собственной профессии. Разговорный - это уровень для общения.

Потому что задумываться не хотят. Примитивное мышление.
:(