Подойдет ли фотоаппарат Nikon D5300 для споттинга?

посмотрите из незаоблачных - Canon EOS 80D отлично сбалансированная модель для всего

Сама камера подойдёт, но 200 мм для споттинга маловато, а Nikkor 18-200 к тому же ещё тёмный и мыльный. Споттинг - это в первую очередь про объектив, а не про камеру.
Ну и про точку съёмки, конечно ;)

Нет, качество НЕ изменится вообще: хотя у Nikon D5300 больше пикселей, но детализация и качество не улучшатся потому что объектив плохонький. Улучшит результат покупка лучшего объектива, а радикально улучшит покупка нового объектива и нового фотоаппарата одновременно...

...пробуйте D5300+55-300 будет чуть лучше

Вам объектив нужно менять. Никон 55-200мм., Никон 55-300мм., Никон 70-300мм.

Нет, ничего не изменится, у Вас объектив, который даёт весьма посредственного качества изображение. А качественная длиннофокусная оптика стоит очень дорого.
Продавайте всё это добро, оно негодное для Ваших задач и ищите на вторичном рынке Panasonic FZ1000 или Sony RX10

Для таких снимком достаточно ультразума 10-15 летней давности.

D5300 будет чуть меньше по шумам, в остальном суть та же. если хочешь качества картинки, то ты должен понять, что изображение формирует оптика, которая всегда дорогая. Попробуй беззеркалки, например Сони некс 6 будет и по шумам держать и оптику на неё можно подобрать качественную из мануальных... да и родные стекла недорогие есть хорошие, сони 55-210 например

5300 это почти та же хрень что и у Вас, но только экранчик поворотный. Как предложили выше FZ1000