могу ли я оставить детей....

наймите хорошего юриста

То, что дети живут с вашими родителями - это ваше с женой совместное решение, а не определение их места жительства судом. И устройство новой семьи - не основание у матери отобрать детей.
Если будет подан иск об определении места жительства детей, тго суд будет учитывать то, к какому месту жительства привыкли дети. Но они не могут быть переданы бабушке/дедушке. Только одному из родителей.
Вы имеете равные права на детей и можете попробовать решить в суде, оставить детей с собой. Но результат тут не предсказуем. Нужно знать все обстоятельства семьи, характеристики, возраст детей и т. д.
Факт наличия другого мужчины у мамы детей в данном вопросе судом учитывается не будет.

Ну Вы смотрю тоже то вообщем детей не воспитывайте, проживаете отдельно от них, то что дети у Вашщих родителей ни о чем не говорит .

А с чего вы решили, что стирать, убирать, готовить это ее обязанности, а не ваши, например? И почему, если вы такой "хороший" отец, дети живут все же не с вами?
Теперь по существу. Мать и отец имеют равные права. Вы ВПРАВЕ ПРОСИТЬ суд определить место жительства детей с вами. Такое требование возможно предъявить одновремнно с требованием о расторжении брака или уже после расторжения брака. А вот решать- удовлетворить вашу просьбу или нет будет суд. Вы должны будете доказать, что в интересах детей-проживание с вами, а проживание с матерью может негативно отразиться на их физическом, психическом развитии. Что вы сможете лучше матери воспитывать детей, осуществлять уход за ними, следить за здоровьем, содержать. Мнение детей старше 9 лет также должно быть учтено судом. Представите суду убедительные доказательства, а не только слова-значит можно будет надеятся на удовлетворение вашего иска.

чтоб оставить детей, надо собрать кучу убедительный документальных доказательств для суда о решениии этого вопроса, хлопотно это

По закону оба родителя имеют равные права в отношении детей. Все связанные с этим вопросы они решают по соглашению между собой. Если соглашения достигнуть не удается, споры разрешаются в судебном порядке. Если кто-то из родителей не выполняет своих родительских обязанностей, он может быть ограничен в родительских правах или лишен их. Но для этого нужны доказательства и случаи невыполнения родительских обязанностей должны фиксироваться соответствующими органами. К примеру, опеки и попечительства.

Статья 69 СК РФ. Лишение родительских прав

Родители (один из них) могут быть лишены родительских прав, если они:
уклоняются от выполнения обязанностей родителей, в том числе при злостном уклонении от уплаты алиментов;
отказываются без уважительных причин взять своего ребенка из родильного дома (отделения) либо из иного лечебного учреждения, воспитательного учреждения, учреждения социальной защиты населения или из аналогичных организаций;
злоупотребляют своими родительскими правами;
жестоко обращаются с детьми, в том числе осуществляют физическое или психическое насилие над ними, покушаются на их половую неприкосновенность;
являются больными хроническим алкоголизмом или наркоманией;
совершили умышленное преступление против жизни или здоровья своих детей либо против жизни или здоровья супруга.

Супружеская измена в судах даже не рассмотривается.

В данной ситуации, то что она Вам изменяет не имеет отношения к Вашим детям, на этом доказательства в суде не построить. Необходимо собрать документы с разных мест, со школы, с кружков, с соседей и т. д. , что жена не занимается воспитанием детей, не имеет дохода, справку, что не имеет места жительства, далее, , документальное подтверждение, что не ночует дома и т. д. (наример, позвать участкового) . Потом идти в орган опеки, принести все справки и доказатеьства, что дети живут с Вами, а не сВашими родителями, что Вы о них заботитесь, содержите их и т. д. И после заключения органов опеки, обращаться в суд, с иском о воспитании детей. Но Вы должны представить такие же доказательства, что живут дети с Вами, что Вы оплачиваете их потребности, заботитесьо них нравственно и т. д. То что дети живу у Ваших родителей, не сыграет хорошей роли в суде. Лишить Вашу жену родительских прав практически трудно. Собирайте доказательства. Вашу любовь документально подтвердить невозможно.