Неужели поэты писали по правилам стихи? Не верится...

Во времена классицизма - да, были строгие каноны жанра. Сейчас их нет, но тем не менее 90% стихов пишутся ямбом, потому что это проще написать. Есть и верлибр, так что не знаю, что вас смущает.

Японцы и до сих пор хокку по правилам пищут

Как уст румяных без улыбки
Без грамматической ошибки
Я русской речи не терплю.
А. Пушкин.
К стихам это тоже относитя

По-моему, говорить о вере или неверии здесь неуместно. То, что подавляющее большинство стихов написано с соблюдением строгих правил, заметно невооруженным глазом.
А нужно ли? Так ведь в том и искусство, чтобы подчинить стихию чувств строгой форме. Это не только в стихосложении, это и в музыке, и в живописи, и в танце, во всем. О трудности этого процесса хорошо у Дольского:

И пальцы, спотыкаясь в музыке своей,
Не вытянут никак логическую нить.
Прекрасней всех поет бездушный соловей,
А сколько нужно мук, чтоб руки с сердцем слить. …

И у поэтов все то же.

Нужно, как бы вас ни манила свободная форма. Ритм важен, иначе стихотворение становится крайне сложным для восприятия. А не хочется заморочек с ритмом и рифмой - пишем прозу, никто не сдерживает.
Стихи и прежде писались по правилам. Попробуйте поискать Тредиаковского и ЛОмоносова - увидите, как менялись правила стихосложения