Как сделать так, чтобы фотошоп разукрашивал только сам рисунок и не выходил за границы нарисованных линий.

Есть боты. Но самому лучше.)

Фотошоп не САИ.
Здесь в одну кнопку не получится.
Выдели контур и, либо создай маску для слоя с покраской, либо залей по выделению новый слой серыми, и используй его в качестве обтравочного.

Если линии замкнуты, то закрасится только нужно пространство.

Делаешь слой контура, выделаешь внутри контура и переходишь на слой ниже там красишь на выделенном либо заливкой, либо кистью

Если работа кистью, можно, как сказали выше, сделать выделение (например, используя инструмент лассо). Вариант технически самый простой, но практически замудошливый, особенно, если не особо шарить в инструментах выделения. К тому же, потом фиг что исправишь, если не работаешь на отдельном слое и история далеко промоталась.

Можно также создать слой с полностью залитыми участками, которые надо окрасить (трафарет наоборот), потом скопировать исходный слой, поместить его НАД трафаретом (тут его можно и покрасить или сделать это позднее) и с зажатой Alt тыцнуть между слоями (копией и трафаретом). Это создаст своего рода обтравочную маску: верхний слой будет показываться только на тех участках слоя под ним, на которых есть краска. Это куда более универсальный и исправляемый вариант

Ещё, если вы окрашиваете не кистью, а через "Цветовой тон / Насыщенность" или "Цветовой баланс", можете использовать "корректирующие слои" (значок аля день-ночь в нижней части панели слоёв) - настройки те же, но отдельным исправляемым слоем поверх изображения с готовой маской. Для работы с маской тыцнуть на белую иконку корректирующего слоя и использовать белую или черную кисть. Черный - игнорировать коррекцию в этом месте. Плюс корректирующий слой можно применять также, как копию слоя в варианте выше.