В принципе интересная задачка) Интересно - это простая домашняя задачка или посложнее ?))
И так вернемся к задаче:
1. Собственно задача сводится к определению радиуса этих окружностей, который легко определить из подобия треугольников:
5/6 = (5+R)/2R
Отсюда R = 7,5
2. Дальше просто нужно найти площадь треугольника, образованного линиями центров этих трех окружностей.
Формула Герона поможет в этом . Площадь равна 75.
3. И наконец, нужно найти какую часть площади занимает площадь искомого треугольника. Это легко определить, если вспомнить что соотношение плщадей треугольников, имеющих общий угол пропорционально произведению сторон, образующих этот угол. Искомый треугольник занимает 0,24 всей площади треугольника и его площадь равна 18.
P.S. Возможно, есть и более простой способ, но я пишу тот, который первым пришел в голову )) Удачи.
P.P.S. На мой взгляд не очень точно изложено условие. Как я понял одна окружность касается в точке А третьей, а вторая в точке В. Хотя по тексту звучит что каждая в точке А и В.