Ещё в XIX веке на месте города не было ничего. Местность под названием Караганда в истории Евразии появилась еще лет назад, когда в 1833 году пастух Аппак Байжанов в степях Сары-Арки нашел первые куски каменного угля. Первооткрыватель Карагандинского угольного месторождения даже и не подозревал о своем великом открытии.
В конце XIX века началась добыча угля сначала русскими купцами, затем французскими и английскими предпринимателями.
В 1930 году была возобновлена активная добыча угля и началось строительство временных жилищ типа глинобитных полуземлянок для приезжавших рабочих и их семей.В 1931 году шахтёрское поселение Караганда преобразовано в рабочий посёлок, а в 1934 году в город.
Историческое решение было принято в феврале 1934 года и эта дата стала днем рождения нового города Казахстана.
К тому времени население Караганды уже превышало 100 тысяч человек.