Почему под константой в языках программирования понимается число или символы в кавычках?

Нипочему. Нет такого.

Потому что компьютер умеет только считать (числа) и перекладывать байты (символы) с места на место

Это неверно.
Константа - это некое подстановочное значение. Например, если оперделить константу:

private const int Foo=42;

То компилятор всюду, где встретит Foo, вставит 42.

Это - константа. А то, что ты называешь константой (собссно 42) - это литерал.

Число и есть константа в программе. А символы в кавычках совершенно не обязательно могут быть константой, это зависит от языка программирования.

Константа это переменная, которую не планируется менять в ходе работы программы.
Например, можно создать константу figna=30, в которую ты занесёшь среднюю длину своих носков.

Константами могут быть традиционно то что вы назвали, т. к. применяются в основном такие, простые типы данных для подстановки конкретных значений в алгоритм. Реже -- какие-то сложные структуры тип записей и массивов, например в Паскале. Если говорить об объектах, то в сишапе есть вариации на эту тему. Вообще, в динамической памяти могут храниться по сути именно переменные, и только, даже если это значения констант, и доступны только для чтения, IMHO. Указатели почти никогда не могут быть константами ввиду изменчивости адресов в оперативной памяти.

Константа это тоже самое что переменная, но константа не может быть изменена во время выполнения программы, константы как и переменные могут иметь свой тип данных int, float, double, string, char. Представь что у тебя в коде в разных местах указываются пути к одному и тому же файлу, можно просто вынести путь к файлу в константное значение и дать ей имя, и использовать это имя в тех местах где необходимо указать путь к файлу, когда нужно будет изменить пути, достаточно сделать изменения в одном месте. Константы нужно применять тогда когда знаешь что это значение не будет меняться никогда, а если и будет меняться, то в редких случаях. Применение констант, вместо непонятных значений хорошая практика программирования, другому программисту будет легче разобраться с чужим кодом если он хорошо спроектирован.