Y = x/a² и y = b²х - это две прямые, которые выходят из начала координат. И они где-то пересекают гиперболу у = а²/х, причём где именно - решается совсем просто, это школьная алгебра.
Теперь нарисуй эту гиперболу, можно даже криве, и две прямые, которые её пересекают (тоже всё равно как) . Понятно, что площадь тут - площадь криволинейного треугольника. И чтоб её вычислить, надо для начала разбить её на два куска, проведя перпендикуляр от самой левой из точек пересечения на ось Х. Этот перпендикуляр отсечёт от криволинейного треугольника "нормальный", площадь которого леко сосчитать. А площадь остатка легко считается как интеграл под кривой (гиперболой) между двумя точками (давеча вычисленными точками пересечения) минус площадь нормальной прямоугольной трапеции - из рисунка вполне будет понятно, какой именно.
Отмазка: никаких фоток присылать не будут. РЕШАЙ САМ. Если что непонятно - спрашивай, а вот списать готовое - не получится.