Как сделать реалистичный коралл в 3D max?...

Это зависит от конечной цели. Если цель - сделать суперреалистичный коралл, то можно на это и всю жизнь потратить (как на бонсаи) .

Самый простой вариант - ПЛОСКАЯ модель. Нужно взять хорошую фотографию коралла, сделать в фотошопе обтравочный черно-белый слой (грубо говоря - вырезать коралл из фона) . Белый цвет - должен быть на месте коралла (все, что черное - скроется) . Ч/Б слой сохраняете в отдельном файле - это называется "Маска".
В Максе создаете плоскость. И назначаете ей материал. Материал готовите так: свойство Диффуз - назначаете исходную картинку (фотку) коралла, свойство Опасити - назначаете подготовленную ч/б картинку (может так случиться, что будет виден не коралл, а только его фон, тогда ч/б картинку нужно инвертировать) .
Таким способом получаются ПЛОСКИЕ модели, обычно применяемые для рендеринга статических кадров (ну, в крайнем случае, этим плоскостям задается привязка к камере, чтобы они при ее движении все время "смотрели" на нее - получается псевдообъем) .

Более сложные варианты уже требуют бОльших навыков и в двух словах не описываются. Но! Всегда можно поискать удачу - посёчить по сайтам - может кто и выложил ГОТОВУЮ модель.

Как обычно: открываете макс и начинаете делать.. . Что бы сделать реалистичный коралл, нужно хорошо уметь моделить, хорошо знать материаловедение и свой любимый рендер.. . или Вы ожидали пошаговых инструкций? ;-)