Если в выдуманном средневековом мире нет магии, то это все равно будет фэнтези?

Если нет магии, но живут там не люди, а например драконы или эльфы, или мир полностью отстоит от реалий нашего мира, то это - фэнтези. Если мир основан на нашем, только какие-то события из истории произошли иначе, то это - альтернативная история.
Пример фэнтези без магии:
https://ru.wikipedia.org/wiki/Тёмное_королевство_(фильм)

Фэ́нтези (от англ. fantasy — «фантазия») — жанр фантастической литературы, основанный на использовании мифологических и сказочных мотивов. В современном виде сформировался в начале XX века. С середины века огромное влияние на формирование современного облика фэнтези оказал Джон Рональд Руэл Толкин.

Произведения фэнтези чаще всего напоминают историко-приключенческий роман, действие которого происходит в вымышленном мире, близком к реальному Средневековью, герои которого сталкиваются со сверхъестественными явлениями и существами. Зачастую фэнтези построено на основе архетипических сюжетов.

В отличие от научной фантастики, фэнтези не стремится объяснить мир, в котором происходит действие произведения, с точки зрения науки. Сам этот мир существует гипотетически, часто его местоположение относительно нашей реальности никак не оговаривается: то ли это параллельный мир, то ли другая планета, а его физические законы могут отличаться от земных. В таком мире может быть реальным существование богов, колдовства, мифических существ (драконы, эльфы, гномы, тролли, гоблины, кентавры и тд), привидений и любых других фантастических сущностей. В то же время принципиальное отличие чудес фэнтези от их сказочных аналогов в том, что они являются нормой описываемого мира и действуют системно, как законы природы.

Нет.
Это будет ПСЕВДОисторический роман.
Напр. Нид Олов, "Королева Жанна".

магия была и будет всегда

Нет . это будет исторический роман )