Можно ли признать договор займа с банком недействительным?

Если не ошибаюсь банки заключают кредитные договоры, а не займы. Нарушения ЗоЗПП мягко говоря к этим договорам не применяются, это уже вековая борьба Роспотребнадзора с банками, и суды пока на стороне банков, не так давно был пленум ВС РФ по этому вопросу, тем не менее практика рассторжения жоговоров с банками тоже есть не менее положительная, соответсвенно с таким вопросом надо обратиться в юристу специализарующимся на спорах с банками. Из практики скажу не каждый юрист или адвокат Вам поможет, нужен спец по направлению, в другом случае можете получить обратный результат.

Банки работают по публичному договору (см ГК РФ) , а за свою деятельность взимают комиссию, что соответствует законодательству, если комиссии и другие платежи не являются "скрытыми", т. е. если нет обмана потребителя (есть судебная практика) . Так что надо анализировать конкретный кредитный договор. Но признание договора недействительным в части не влечет недействительность всего договора (ГК РФ) , так что если надеетесь признать договор недействительным и не возвращать кредит ,- то зря

Попробуйте. Но деньги всё равно придётся возвращать.

Зачем подписывал такой договор?

Такой договор не нужно подписывать.
Если подписали - не берите деньги. Если деньги взяли - не нарушайте условия договора.
По мере возможности быстрее возвращайте займ и впредь читайте ДО ТОГО как подписывать что то.

Можно только через суд.

А вы его подписали? Зачем, если считаете что в нем столько нарушений?