Как найти площадь выпуктой фигуры

Она состоит из круга, точки А, не лежащей в кругу и касательных к окружности, проходящих через точку А

Ну всё, у школоты 1 сентября.

Наверное, все же выпуклой )).
Достаточно просто. Площадь состоит из площади двух треугольников и сектора круга.
Таким образом, имеем R - радиус круга, x0,y0 - координаты центра круга, x,y - координаты точки A.
Тогда расстояние От центра круга до A будет s =sqrt((x-xo)^2+(y-y0)^2).
Площадь треугольника R/2*sqrt(s*s-R*R).
Площадь сектора (PI-arccos(R/s))*R*R.