Подскажите, с какой минимальной суммы начинают удерживать налоги если речь идёт об предпринимательской деятельности?

По Налогу на добавленную стоимость можно воспользоваться льготой по ст. 145 НК РФ, если выручка без учета НДС за 3 предшествующих календарных месяца не превышает 2 млн рублей.

Ольга права - даже при отсутствии хозяйственной деятельности и нулевой отчетности, на ИП возложена обязанность на отчисления взносов.
С 2010 года привычные фиксированные взносы в ПФ заменены взносами в Пенсионный фонд Российской Федерации на обязательное пенсионное страхование, Федеральный фонд обязательного медицинского страхования и территориальные фонды обязательного медицинского страхования в размерах, исчисленных исходя из стоимости страхового года.
Взносы, исчисленные исходя из стоимости страхового года, обязательны к уплате всеми индивидуальными предпринимателями, независимо от системы налогообложения ИП, ведения хозяйственной деятельности и наличия доходов.
На 2012 сумма взносов составит ориентировочно 17208.25 руб/год.

С одного рубля. Я не шучу, а говорю абсолютно серьёзно. Даже копейки никто Вам не простит,
пока не заплатите. Будет долг висеть годами, увеличиваясь, хоть и не намного, если речь идёт о небольшой сумме.

Есть разные налоговые режимы. Поэтому ответить на Ваш вопрос очень затруднительно. Если говорить об ОСНО, то любой доход, начиная с 1 копейки подлежит налогообложению, однако существует система стандартных и профессиональных вычетов