Как правильно расчитать работника...

Давайте считать.
За один отработанный месяц (полных 15 дней с 1-го числа либо полных 15 дней до 31-го числа) работник получает право на 72/12 = 6 дней отпуска.
Ваш работник отработал полных 5 месяцев (с 02.12.2008г. по 04.05.2009г) + 1 месяц (с 24.05.2009г. по 30.06.2009г) = 6 месяцев, имеет право на 6*6=36 календарных дней отпуска.
Отгулял 16+3+53=72 календарных дня.
Соответственно, отпуск на 72-36=36 дней он еще не заработал и взял авансом, за это количество дней он и должен вернуть в кассу переплату.

с 02.12.08 по 01.12.09 = 72 к/д
с 02.12.08 по 22.08.09 = 58 к/д
72 - 58 = 14 к/д

Похоже, взыскание только в судебном порядке!

За 18 дней должен вернуть. он отработал 9 месяцев (так как 22 августа уже вторая половина месяца будем считать что месяц отработал) 72/12*9=54 дня он заработал. А получил так понимаю за 72,значит 72-54=18В п. 35 Правил говорится о том, что при исчислении сроков работы, дающих право на пропорциональный дополнительный отпуск или на компенсацию за отпуск при увольнении, излишки, составляющие менее половины месяца, исключаются из подсчета, а излишки, составляющие более или половину месяца, округляются до полного месяца. Иными словами, если сотрудник отработал менее половины месяца, то этот месяц исключается из периода, за который выплачивается компенсация. Если сотрудник отработал половину месяца и более, то этот месяц присоединяется к расчетному периоду.

Рабочий период с 02.12.2008 по 01.12.2009 положенный отпуск 72 к. д.
Использовано 16+3+31+22=72 к. д. (отпуск предоставлен авансом полностью)
Если работник будет увольняться, то с него необходимо удержать 72:12=6 к. д. в месяц, неотработанный период составляет (сентябрь, октябрь, ноябрь) , следовательно 6х3=18 к. д.