Как пишутся библиотеки? Что почитать, чтобы попробовать написать самому что-то?

Во всех языках для решения задач используют библиотеки. Хочешь работать с сетью - используй network.dll и sockets.dll, хочешь воспроизвести аудио - audio.dll, хочешь с базой работать - скачай SDK для неё. Для GPU - используй CUDA.
В итоге я пришел к выводу, что хоть и работаю программистом, пишу код и решаю задачи, но программирование вообще не понимаю. Потому что не понятно, как, не имея заранее нужной библиотеки, написать например на языке Си код, который будет воспроизводить аудио или видео, перемножит массивы с помощью GPU, или просто сделает запрос к базе и отобразит результат.
Нет ни одной книги или курса, где приводится такой пример. Везде изучается какая-либо готовая технология или библиотека. Даже руководство по написанию драйверов начинается с "Скачайте SDK и IDE".
Однако встречаются статьи, где человек, например, перепрошил смартфон с разбитым экраном под свои нужды. Кто-то нашел баг в ядре Linux (как, блин? там же миллионы строк сложного кода?), и пофиксил его. Кто-то рассказывает как просто можно написать сниффер и тому подобное.
А я... А я могу красивый динамический интерфейс написать на WPF с MVVM и запросы на SQL делать и пользователи рады, когда у них данные в Excel выгружаются и прогресс бары для длительных операций показывают сколько еще времени можно попить кофе. Легко и просто могу написать службу для обработки чего-либо на сервере при помощи WCF и т. д.. Хрень это, а не программирование.