как сделать вставленный в коллаж объект реалистичным? чтобы не было заметно контура выреза вокруг объекта

Вырезание - это трудоёмкий процесс, и, если делать его качественно, то с наскока не получится. В зависимости от того, какой инструмент для этого вы используете, требуется дополнительная обработка. Например, если вы вырезали при помощи лассо (довольно-таки распространено) , то после надо аккуратно пройтись по периметру мягкой кистью ластика с нажимом 5-7% ,чтобы убрать оставшиеся огрехи и смягчить края, тем самым делая объект более ассимилированным. Если для вырезания используете "быструю маску", то ставьте мягкость кисти наполовину и закрашивайте объект с небольшим припуском. Думаю, что пока достаточно советов. Если будут ещё вопросы по ФШ, задавайте лично.

использовать маску и пройтись мягкой кистью по краям

Маской слоя и еще обработка краев-удалить контур.

пером - самый верный, но трудоемкий способ.
а чтобы реалистично- надо кривыми и уровнями цвет подгонять тщательно.

Вырезал, любым способом, потом выделил палочка, быстрое выделение, инструмент выделение -модификация-граница, ставишь пикселов 1,2,3,4 в зависимости от размера фото-ОК, Фильтр-размытьие размытие по Гаусу-колличесво равное границе чуть меньше. можно-ОК
Ну или дублируем слой -маска слоя, кисть мягкая, черный цвет, все лишнее стираем, я применяю чаще 2 вариант, качественней если кропотливо, не всегда нужна одинаковая граница .

я пользуюсь пером. Вырезать аккуратно. пиксель за пикселем. Потом копирую этот слой, размываю его немного по Гауссу и ставлю под четкий .