Помогите пожалуйста с задачкой

Это прекрасно, что Вы хотите написать, но перед тем, как что-либо писать нужно составить хоть мало мальскую блок-схему. Если Вы это попытаетесь сделать, то поймете Вашу ошибки:
1. у Вас в задаче ничего не сказано про переменную "с". Окуда она берется? Если Вы будете вводить "а" и "b", то с чем они будут сравниваться? "с" в данном случае - это константа?
2. если условие не выполняется, то у Вас происходит приращение обоих вводимых чисел - это глупо, шанс того, что Вы когда-нибудь попадете в условие практически нулевой, и Вы просто получите бесконечный цикл, в итоге у Вас просто зависнет программа, т. к. будет тупо делать +1 к переменным и никогда не выйдет из условия;
3. от величины "с" зависит очень многое, например, при значении "5", данное условие имеет целочисленное решение - "3" и "4", при "6" - "5" и "3", но при, например, "2", "3", "4", "7" и т. д. и т. п. решением будет числа с плавающей точкой, таким образом, получаем что приращение на единицу в таких условиях заведомо никогда не приведет к правильному варианту.

Если Вы не понимаете, как работает машина (компьютер) , то она за Вас ничего не сможет сделать, Вам нужно понимать логику действия. Например, данную задачу легче всего рассматривать графически, т. е. Вам нужно найти графический минимум, удовлетворяющий Вашему условию.
Так же Ваша задача должна содержать 2 блока:
Первый: поиск целочисленного ответа
Второй: поиск ответа, при котором переменные будут являться числами с плавающей точкой

Важно помнить, что катеты никогда не могут быть больше гипотенузы, таким образом, у Вас будет наложено ограничение на максимальное значение "а" и "b".

P.S. Оптимальным вариантом при решении полиномов высокого порядка - алгоритм с использованием распределения хи-квадрат.