КАК поступать в такой ситуации ?

Расторгнут договор с адвокатом в одностороннем порядке, за не надобностью судебного разбирательства.
Но был выплачен крупный гонорар но адвокат отказывается выплачивать большую часть суммы гонорара.

См. условия договора.... и почему вы выплатили весь гонорар до окончания ведения дела?
Если не получается по согласию, то обращайтесь в суд.... к мировому судье....

Адвокат должен учитывать пожелания своего клиента. Если Вы уже расторгли договор то тогда - суд.

обратитесь с жалобой в коллегию адвокатов