О сцене у парадного подъезда рассказала поэту А. Я. Панаева, его жена.

Думаю, да. Так как данная сцена полностью совпадает, о том, как крестьяне пришли и как их прогнали от подъезда так и не дав им возможности рассказать о причине своего визита.
"Раз я видел, сюда мужики подошли, Деревенские русские люди, Помолились на церковь и стали вдали, Свесив русые головы к груди; Показался швейцар. "Допусти",- говорят С выраженьем надежды и муки. Он гостей оглядел: некрасивы на взгляд! Загорелые лица и руки, Армячишка худой на плечах, По котомке на спинах согнутых, Крест на шее и кровь на ногах, В самодельные лапти обутых (Знать, брели-то долгонько они Из каких-нибудь дальних губерний). Кто-то крикнул швейцару: "Гони! Наш не любит оборванной черни!" И захлопнулась дверь. Постояв, Развязали кошли пилигримы, Но швейцар не пустил, скудной лепты не взяв, И пошли они, солнцем палимы, Повторяя: "Суди его бог!", Разводя безнадежно руками, И, покуда я видеть их мог, С непокрытыми шли головами..."

И какое это сильное впечатление произвело на Некрасова, как стало ему обидно и горько за крестьян. Он обращается к владельцу этого дома:

"Пробудись! Есть еще наслаждение: Вороти их! в тебе их спасение! Но счастливые глухи к добру... Не страшат тебя громы небесные, А земные ты держишь в руках, И несут эти люди безвестные Неисходное горе в сердцах. Что тебе эта скорбь вопиющая, Что тебе этот бедный народ?"

В основу стихотворения положен реальный факт.
Из окон своей квартиры Некрасов однажды увидел, как крестьян-ходоков прогнали прочь от подъезда дома богатого вельможи.

Глядя на обездоленных бедняков, ни с чем возвращающихся домой и заливающих горе вином «в харчевне убогой», поэт невольно обращается к горьким раздумьям о судьбе своей многострадальной родины, которую переполнила великая народная скорбь.