Можно ли начать работать в IT сфере, если программирование лишь хобби?

"Можно ли"
Ну я же начал работать программистом баз данных (PL/SQL, SQL, Oracle).. значит можно :)
...
А перед этим я работал инженером в строительно монтажной фирме.. и там, для упрощения себе жизни, в свободное от работы время автоматизировал свою работу по раскрою трубы. Программировал на VBA в Excel (там суть была в работе с массивами данных.. и их расчётом.. Я по сути организовал базу данных из нескольких таблиц в excel, организовал корректную нумерацию труб кладовщиками, ну и написал кучу формул для различных расчётов), после этого и устроился программистом по базам данных.
...
А ещё, давным давно, я написал программку для решения судоку в делфи.
А потом переписал её на 32-ухбитном ассемблере, и она стала работать раз в 100 быстрее :) Хотя алгоритм остался прежним.
...
"С чего стоит начать?"
С определения того, чем тебе хочется заниматься. Мне например нравится работать с данными. Автоматизировать их обработку.

С серьёзного изучения программирования. Высшую математику там подтянуть, алгоритмизацию, ну и ещё ряд смежных наук в зависимости от области работы

Это зависит от того, какую программу тебе интересно было бы написать.

Хобби и работа, это когда благодаря работе ты начинаешь возненавидеть своё хобби.

Конечно можно, и чем раньше, тем лучше, попробуйте обратиться в компанию https://key-g.com/,и сможете сделать из хобби высокооплачиваемую работу!)