Можно ли вернуть залог за квартиру?

Подскажите пожалуйста, мы хотели купить квартиру, внесли залог, о чем написали в расписке, так же в расписке указали сроки выплаты основной суммы. Но так получилось, что оставшуюся сумму мы вовремя не смогли внести. Хозяева квартиры требуют расторжения сделки, залог возвращать не собираются. Можно ли вернуть залог?