В Спб на ул. Гагаринской в Центр. р-не между домами №№ 3 и 5 есть желтый домик в два окна..

У вас на фотографии встройка между домами 5 и 7. Так она в источниках и фигурирует. Поскольку дом 7 сталинской постройки, это скорее часть дома 5. А дом 5 это особняк Столыпиных. Вот кто и зачем такую пристройку сделал - я не нашел информации. Встретил неуверенное предположение, что там был служебный флигель.