Нужно подать иск о признании договора займа недействительным. Можно ли как-нибудь выкрутиться, чтобы платить пошлину...

Здесь не требуется подавать иск о признании договора недействительным.
Вы, как ответчик можете требовать снижения размера неустойки по ст. 333 ГК

ПОСТАНОВЛЕНИЕ
Пленума Высшего Арбитражного Суда
Российской ФедерацииМосква№8122 декабря 2011 г.
О некоторых вопросах применения статьи 333 Гражданского кодекса Российской Федерации
1. При обращении в суд с требованием о взыскании неустойки кредитор должен доказать неисполнение или ненадлежащее исполнение обязательства должником, которое согласно закону или соглашению сторон влечет возникновение обязанности должника уплатить кредитору соответствующую денежную сумму в качестве неустойки (пункт 1 статьи 330 ГК РФ) . Соразмерность неустойки последствиям нарушения обязательства предполагается.
Исходя из принципа осуществления гражданских прав своей волей и в своем интересе (статья 1 ГК РФ) неустойка может быть снижена судом на основании статьи 333 Кодекса только при наличии соответствующего заявления со стороны ответчика.
При этом ответчик должен представить доказательства явной несоразмерности неустойки последствиям нарушения обязательства, в частности, что возможный размер убытков кредитора, которые могли возникнуть вследствие нарушения обязательства, значительно ниже начисленной неустойки.

А если хотите признать сделку недействительной, то только на том основании, что она была кабальная и докажете это в суде. Смотрите ниже:

Оспоримыми вследствие пороков воли являются и так называемые кабальные сделки. Кабальной называется сделка, которую лицо было вынуждено совершить вследствие стечения тяжелых обстоятельств на крайне невыгодных для себя условиях, чем другая сторона воспользовалась (ст. 179 ГК) . Воля в данном случае формируется несвободно, под воздействием внешних тяжелых обстоятельств, и этими обстоятельствами недобросовестно пользуется другая сторона в сделке. Под тяжелыми обстоятельствами следует понимать любые уважительные чрезвычайные причины (острая нужда, тяжелая болезнь, крайняя необходимость и т. п.) , требующие немедленного совершения сделки на любых условиях.

признание договора недействительным- это и есть неимущественный иск.. . а вот если вы в том же иске выдвигаете требования о выплате (возврате и т. п. ) какой либо денежной суммы- тогда придется гос. пошлину от суммы и платить.. . Хотя в случае признания договора недействительным стороны возвращаются в их первоначальное положение, что подразумевает возврат денежных средств.. . очень трудно подсказать, не видя договор и не зная подробно Вашу позицию