должна ли я платить налог?

Задолженность по налоговым платежам и (или) любая прочая официально истребуется путём направления должнику соответствующей корреспонденции и (или) вручения ему соответствующих уведомлений, из которых должно быть однозначно понятно, кто именно, с кого именно и по какой именно причине чего-то хочет получить. Однако, даже официальное уведомление НЕ влечёт безусловной обязанности по уплате кому либо каких-либо сумм - только суд правомочен наложить таковую безусловную обязанность, так что можете предложить тем, кто от вас чего-то хочет именно в суд и обращаться.

Из вашего повествования напрашивается вывод, что кто-то просто считает вас "организованной группой близких родственников Буратино", и что к какой-либо реальной задолженности учеников вся эта история ни какого отношения не имеет.
Возможно, вы что-то важное не договариваете.. . Возможно, что кто-то из руководства колледжа с нарушением распорядился выделяемыми колледжу бюджетными средствами. Сие есть личная проблема того, кто распределял деньги и она ни как не может стать вашей проблемой, разве только вы что-то не глядя и не думая подписали, но на этот случай вам должны показать тот самый подписанный вами документ, смысл которого в возвратности переданных вам средств. Если такой документ есть - есть одно большое НО ( о котором вы сами упомянули) - ограниченная (по возрастному признаку) дееспособность учеников, с которыми не должно было заключаться каких-либо соглашений о материальной ответственности...

Видимо, в колледже была налоговая проверка, какие-то выплаты студентам признали подлежащими налогообложению НДФЛ, а его не удержали, или вообще колледж не должен был за счет, допустим, бюджетных средств выплачивать. Ну а теперь хотят за счет тех. кому выплачивали, возместить

Только в том случае, если вам переплатили стипендию, а течение 3 лет вас имеют право попросить вернуть переплату.