почему темные силы смогли разорвать круг в фильме "Вий"?

Так автору показалось правильнее. Видимо, в качестве наказания за беспутную жизнь и непрележание главного героя к заповедям божиим. Гоголь был в высшей степени верующим человеком, особенно в конце жизни.

Кроме того, так страшнее. )) Гоголь полностью следует народной традиции, по которой такие истории (в назидание и по ряду других причин), как правило, заканчиваются плохо. Причем, так принято у большинства народов мира, не только у восточных славян. Легко понять если читать не адаптированные для детей сказки и легенды. Это только в голливудских фильмах все заканчивается хеппи эндом (у них цели коммерческие, а не филосовско-религиозно-воспитательные).

Рекомендую ознакомится также с тем, кто такой Вий. В народной традиции - мощнейший и древнейший субъект темных, потусторонних сил, один из первых. Князь и воевода демонов, антипод архангела-предводителя всего воинства небесного. Что для него защита от простейших упырей и сбивчивая молитва непутевого пьяницы и греховодника?
Этим самым автор еще раз подчеркивает (для понимающего читателя) всю важность борьбы за душу панночки для сил ада. Видать, действительно, много непростых грехов было на ней, если пришлось потревожиться и вмешаться такому демону.