ИП - это осуществляемая на свой страх и риск деятельность - это прямо указано в ч. 1 ст. 2 ГК РФ. Положения ТК РФ на индивидуального предпринимателя (лично на него) не распространяются, т. к. ТК РФ регулирует взаимоотношения РАБОТНИКА С РАБОТОДАТЕЛЕМ (это прямо указано в ч. 1 ст. 11 ТК РФ и в ст. ст. 15, 16 и 20 ТК РФ) , а ИП сам себе работодатель!
Поэтому его ссылка на то, что он был в отпуске - несостоятельна. И отпуска у него быть не может (он (ИП) НЕ ПРИНИМАЛСЯ НА РАБОТУ, некому предоставить ему отпуск, никто не ведёт учёт отработанного им времени, никто не ведёт его трудовую книжку (и сам на себя он её тоже не ведёт) никто никого не оставляет "исполняющим обязанности" на время отпуска, и т. д. , и т. п.) , и ГК РФ не допускает возможность приостановки деятельности ИП.
ПОэтому смело отправляйтесь в суд. Нужно было вообще не ждать ответа, а подавать в суд. В качестве возражений в суде и представьте эти доводы.