Как решить систему?

Это не система. Это поиск условного экстремума функции многих переменных.

Если явно задана функция f(x) - знаешь как найти такой х, чтобы f(x) была максимальной? Взять производную, найти нули и проверить максимум или минимум и с какими значениями.

А тут то же самое. Одну переменную вырази через другую из заданного равенства. Тут это сделать просто. Потом подставь это в выражение (х*у) и получишь функцию одной переменной (второй) . А дальше надо найти её максимум и из равенства найти соответствующее значение первой переменной.

Хуже, переменных больше, условий (ограничений) типа первого равенства больше и они заданы так, что одну переменную хрен выразишь.
Для этого используется, к примеру: http://ru.wikipedia.org/wiki/Метод_множителей_Лагранжа

>^.^<

Нужно найти экстремум функции z = x·y.

Из первого уравнения выражаем y через х:
y = 3 – 2x/3

Откуда
z = x·(3 – 2x/3) = 3x – 2x²/3

Получилась парабола. Как известно, экстремум параболы всегда находится в её вершине, а координата вершины параболы z = ax² + bx + c равна –b/2a.

Следовательно, в нашем случае координата x экстремума равна

x = –3/(–4/3) = 9/4

Игрек находим из первого уравнения

y = 3 – 2x/3 = 3 – 18/12 = 3 – 3/2 = 3/2

рисуешь прямую 2х+3у=9, рисуешь гиперболу ху=а так, чтобы гипербола касалась прямой.. . это происходит, когда а наибольшее из возможных: )

т. е. надо подобрать а так, чтобы система двух уравнений
2х+3у=9
ху=а
имела единственное решение

это происходит при а=27/8, т. е. при х=9/4, у=3/2