В договоре указано, что товар без НДС, при этом при реализации товар по ошибке отпустили с НДС

если продавец плательщик НДС, то он не может отпускать без НДС

Попросите переделать текст договора,
Проблема может возникнуть при тщательной проверке у продавца, т. к вы вероятно оплатили ему сумму, указанную в договоре, а ИФНС захочет увидеть НДС "сверху" к этой сумме.

Если вы являетесь продавцом, то не важна система налогообложения у покупателя, но важно, что вы оговорили существенную сторону сделки - цену и прописали цену без НДС, поэтому теперь важно, как вы начислили НДС при реализации. Если вы указали такую же цену, что в договоре, при этом НДС входит в цену реализации, а покупатель принял товар и документы, то у вас неправильно прописаны условия договора. И вам следует просто внести изменения в договор, исправив первоначальный вариант, или подписав дополнительное соглашение, протокол согласования цены или иное приложение.
Если вы к цене, оговоренной договором дописал сверху НДС, тогда никаких ошибок нет, если вы не заявляли покупателю, что являетесь упрощенцем. Покупатель может начать гнуть пальцы, ссылаясь на договор, но вы не нарушили договор, если НДС добавили сверху, или в договоре опечатка и следует внести изменения, и другого ответа покупателю не пишите.
Если покупатель уже принял товар и документы, и по условиям договора не выставил претензию, то никаких проблем для вас нет, а на его капризы я написал вам ответ

"Мы являемся плательщиком НДС, но товар отпустили по ошибке с НДС".Что за бред?! Отпустили-то вы правильно- вы не имеете права отпускать без НДС. А вот договор придется переделать. Ошибка именно в договоре.