Первая попытка замены деревянной крепостицы на каменный кремль относится к 1374 году, к эпохе Нижегородско-Суздальского великого княжества (1341—1392). В это время князь Дмитрий Константинович заложил кремль, но его постройка ограничилась всего одной башней, известной как Дмитровская башня, не дошедшей до нас (современная башня сооружена позднее) .
При Иване III Нижний Новгород играет роль сторожевого города, имея постоянное войско и служа местом военного сбора при действиях Москвы против Казани. В целях усиления обороны города вновь начинаются работы над крепостными стенами. Началом строительства каменного Нижегородского кремля стала постройка в 1500 году в прибрежной части города Ивановской башни, но основные работы развернулись с 1508 года и в короткие сроки — к 1515 году — грандиозное строительство было завершено. Основные работы по сооружению кремля осуществлялись под руководством присланного из Москвы архитектора Пьетро Франческо (Пётр Фрязин) . Разрушению старых оборонительных сооружений — дубовых стен — способствовал огромный пожар 1513 года.