с++,Периметр и Площадь Прямоугольного Тругольника

Условие читай: даны длины катетов. КАТЕТОВ, а не катета и гипотенузы. Соответственно,
c=sqrt(a*a+b*b);
и все.
То, что ты хотел написать -
c=sqrt(abs(a*a-b*b));
И прочитай где-нибудь, как условный оператор записывается, на будущее, а то у тебя бред.
Да, и библиотека математических функций в современном C++ называется cmath. Если пишешь < iostream>, а не < iostream.h> - то пиши < cmath>.