какое количество школьных оценок можно записать в 3 байтах памяти

Три байта - это 24 бита.
Если оценки до 5 включительно, то их можно записывать в три бита каждую, таких групп получится восемь, и таким способом можно записать 8 оценок.
При этом в трёхбитовое значение записывается всего пять чисел. Это меньше восьми, поэтому запись можно, в общем случае, уплотнить.
Объём информации считается через логарифм. Удобнее всего по основанию 2.
Три байта - это 24 бита, логарифм по основанию 2 записываемого числа в эти байты равен числу битов, то есть, это 24.
Логарифм по основанию 2 от 5 - это примерно 2,322 (округление в большую сторону) . Столько бит, в дробном выражении, нужно для записи пяти чисел.
В 24 бита пять чисел можно записать примерно 24/2,322=10,335 раз (округление в меньшую сторону) . Целое число получается 10.
Значит, при такой упаковке, когда числа записываются в системе счисления с основанием 5, групп по 5 чисел можно записать 10. При этом максимальное количество записываемых чисел будет 5^10=9765645.