Могу составить алиментное соглашение на мужа, если мы не в разводе и имеем ребенка 3 лет?

Можете, если муж согласен будет на такие условия.

можете, но через суд надёжнее

Да, только с согласия двух сторон и внимание:

Семейный Кодекс РФ.
Статья 99. Заключение соглашения об уплате алиментов
Соглашение об уплате алиментов (размере, условиях и порядке выплаты алиментов) заключается между лицом, обязанным уплачивать алименты, и их получателем, а при недееспособности лица, обязанного уплачивать алименты, и (или) получателя алиментов - между законными представителями этих лиц. Не полностью дееспособные лица заключают соглашение об уплате алиментов с согласия их законных представителей.
Статья 100. Форма соглашения об уплате алиментов
1. Соглашение об уплате алиментов заключается в письменной форме и подлежит нотариальному удостоверению. Несоблюдение установленной законом формы соглашения об уплате алиментов влечет за собой последствия, предусмотренные пунктом 1 статьи 165 Гражданского кодекса Российской Федерации.
2. Нотариально удостоверенное соглашение об уплате алиментов имеет силу исполнительного листа.

Можно, но надежнее иск о назначении алиментов в суд (развод при этом оформлять не обязательно)

Соглашение в нотариальной форме можете с мужем заключить. На мужа можно заявление в суд подать. Развод или его отсутствие значения не имеют

В суд можете подать и без согласия мужа. А тут только с общего согласия.