продавец отказался от продажи дома и соглашается вернуть только задаток без неустойки, ссылаясь на то что он инвалид.?

подавайте в суд

Ст. 381 п. 2 ГК РФ. Возвращается не задаток с неустойкой, а двойная сумма задатка. А то, что инвалид, не освобождает продавца от ответственности по закону.

Именно для того, чтоб не возникали такие ситуации, и заключаются предварительные договора купли-продажи недвижимости, в которых оговариваются все нюансы финансовых взаимоотношений в том числе и при отказе от совершения сделки одной из сторон.
Если же предварительного договора купли-продажи составлено не было, то руководствуются ст. 381 ГК РФ "Последствия прекращения и неисполнения обязательства, обеспеченного задатком"
1. При прекращении обязательства до начала его исполнения по соглашению сторон либо вследствие невозможности исполнения (статья 416) задаток должен быть возвращен.
2. Если за неисполнение договора ответственна сторона, давшая задаток, он остается у другой стороны. Если за неисполнение договора ответственна сторона, получившая задаток, она обязана уплатить другой стороне двойную сумму задатка.
Сверх того, сторона, ответственная за неисполнение договора, обязана возместить другой стороне убытки с зачетом суммы задатка, если в договоре не предусмотрено иное.
Собственно, исходя из положений этой статьи, Вы имеете право в судебном порядке потребовать еще и компенсации понесенных Вами убытков.
А инвалидность в этом случае - ни при чем.

Задаток это платеж который вносится В ПОДТВЕРЖДЕНИЕ ЗАКЛЮЧЕНИЯ ДОГОВОРА, об этом прямо указано в п. 1 ст. 380 ГК РФ. То есть, соглашение о задатке действительно в том случае, если этот документ оформлен непосредственно ПРИ ЗАКЛЮЧЕНИИ договора купли-продажи дома. Сделка по отчуждению недвижимости (в том числе купля-продажа) , в свою очередь, считается заключенной только с момента ГОСУДАРСТВЕННОЙ РЕГИСТРАЦИИ. Таким образом, соглашения о задатках, традиционно оформляемые ПЕРЕД совершением сделок ( по купле-продажи недвижимости) , попросту недействительны. И в случае спора и судебного разбирательства сумма выплаченная в виде задатка может быть признана авансом. Таким образом, если задаток не оформлялся письменно либо был внесен до заключения договора купли -продажи то вы не вправе требовать его возврата в двойном размере.

Если договор купли-продажи не был заключен, то это не задаток, а аванс (см. ответ Андрея Семьянова, он верно написал) . Если же речь идет о предварительном договоре купли-продажи и он не был заключен, то возвращается только та сумма, которую Вы называете "задатком". В общем продавец обязан вернуть только указанную сумму, т. к. в противном случае у него возникает неосновательное обогащение.