Может ли дилетант самостоятельно вывести новую породу кошек или собак, или это тяжело и надо быть экспертом в этом деле?

Как минимум, нужно знать генетику, включая момент с наследственными заболеваниями, иметь чёткое понимание того, что должно получиться на выходе и как этого добиться, ну и готовиться посвятить этому делу всю свою жизнь, и то её может не хватить

Не сможет. Вот дворняг плодить - много ума не надо.

Типично английский анекдот. В Великобритании много патриархальных традиций. но сегодня её заполонили "новые англичане", часто арабского происхождения. И вот у ограды поместья встречаются два представителя "старой" и "новой Англии".
- Сыр, разрешите спросить: "Почему у вас твкой великолепный газон? В чём секрет?"
- Всё просто, раз в год подсаживаю.
- И я подсаживаю.
- Каждый день поливаю.
- И я поливаю.
- Раз в неделю стригу.
- И так последние 300 лет...
Почитай историю выведения Московской сторожевой. Сколько лет армейский питомник "Красная звезда" не мог добиться устойчивого гибрида. Разницы между собаками и кошками, в этом плане, никакой. Интересных отдельных котят ты получить сможешь, породу, нет.

Можно. Но есть масса случайностей, которые дилетанту будет сложнее отсечь. Но можно. И это долго.
Как может пройти маршрут выведения новой специфической породы?
Есть хотя бы одна резко выделяющаяся собака. Желательно к ней родича, не обязательно специфического. Далее инбридинг (близкородственное скрещивание), отбор и огромный участок под кладбище. И может повезти (одна порода кошек - это просто потомство одной подобрашки). Но вообще множество пород и сортов выводились простой селекцией ... но за примерно 300 лет.
Если хотите вдохновиться - прочитайте про выведение добермана.
Вообще в сети много добра на эту тему. Введите запрос вроде "недавно выведенные породы".

Сложно

Можно. Но это - лишь четверть дела. Породу нужно размножить, а для этого одного дилетанта мало: нужен большой коллектив дилетантов. А потом надо зарегистрировать её официально. А это могут сделать только профессионалы.

Дилетанту этим лучше и вправду не заниматься. Есть множество ограничений