Можно-ли стать частным предпринемателем не увольняясь с работы? Как?

подать заявление в налоговую о регистрации себя, как ИП, быть готовым платить 12003 руб в год в ПФ даже при отсутствии деятельности, сдавать декларации, расчеты

Сейчас многие так и делают, чтобы обеспечить достойную жизнь семье.
Сначала попробовать себя в каком то деле без оформления.
Получится, можно оформляться ИП.

Зарегистрировать ИП вам никто не запретит. И начинать бизнес не увольняясь тоже правильно. Успеете уволиться, когда бизнес встанет на ноги. Успехов!

Это нормальная практика. Половина американского частного бизнеса построена на "бизнесе по выходным у себя в гараже".
Люди не хотят рисковать своим постоянным доходом на наёмной работе - это правильно.
Это накладывает некоторые ограничения на тот бизнес, которым вы можете заниматься - но вовсе не исключает его.
Конечно сталелитейный завод таким образом не построишь. Но заниматься оказанием каких-либо услуг - вполне возможно.

Про это очень хорошо написано в книжке "Бутстрэппинг или раскрутка вашего бизнеса" авторы Грэг Джианфорт и Маркус Гибсон. Книжка переведена на русский язык - я покупал на ozon.ru

Если книжки вам покажется не достаточно ...приходите к нам на курсы (ссылка на сайт в источнике)

Вроде бы только госслужбу нельзя совмещать с предпринимательской деятельностью

Согласна с Еленой, вот только со следующего года платить в ПФ придется 17 тысяч. И и конечно нельзя совмещать с государственной службой.