Трудный вопрос. Вообще в том и смысл задатка, чтобы его не возвращать.
Непонятно только, был ли это задаток, или же это был аванс.
Строго говоря, если это был задаток - деньги остаются, а если аванс - то надо вернуть.
Судя по вашему вопросу, вы просто получили деньги - но непонятно в каком качестве.
В качестве задатка? Как оплату за (будущий) труд? Для покупки материалов?
Были ли оговорены штрафные санкции в случае его отказа? А в случае вашего отказа работать что бы было?
Если это действительно задаток - то возвращать не надо.
Задаток не надо возвращать, в этом и есть смысл задатка, как бы не было обидно.