по каким критериям терминал определяет номинал купюры

сравнивают с эталоном, заложенным в память купюроприёмника.

По водяным знакам, инициалам и т. п.

Качество бумаги, водяные и специальные знаки, микротекст, защитные нитеи + что-то типа спектрального анализатора скорее всего.