Как доказать, что для любого числа b и простого числа k, вероятность, что число b делится на k = 1/k?

Во-первых, правильнее было б сказать "для случайного натурального b и заданного простого k", а не так, как ты сказал.
Во-вторых, даже с этим исправлением утверждение бессмысленное - не существует равномерного распределения на счетном носителе, это противоречит сигма-аддитивности вероятностной меры. Чтоб не трахаться с лишь конечной аддитивностью, еще правильнее будет поступить так:

Берешь последовательность равномерных дискретных распределений, n-е распределение - это равновероятное распределение натуральнозначной СВ на [1, n].
Вычисляешь
lim(при n->inf) P_n { x_n кратно k}, это и будет ответ.
На P_n { x_n кратно k} легко получить ограничение - она отклоняется от числа 1/k не более, чем на k/n, отсюда получишь нужный предел.

Всякие неформальные вероятностные утверждения из ТЧ понимаются обычно именно в этом смысле. Например, знаменитая вероятность взаимной простоты двух случайно выбранных натуральных чисел.

В третьих, требование простоты k у тебя в вопросе избыточное.

1) ряд ∑1/k (по всем простым k) расходится
https://ru.wikipedia.org/wiki/%D0%A0%D1%8F%D0%B4_%D0%BE%D0%B1%D1%80%D0%B0%D1%82%D0%BD%D1%8B%D1%85_%D0%BF%D1%80%D0%BE%D1%81%D1%82%D1%8B%D1%85_%D1%87%D0%B8%D1%81%D0%B5%D0%BB
т.е. 1/k не могут выступать вероятностями

2) вероятности не зависят от b. это как-то нелогично.

вопрос не правилен. не указан диапахон

Свойство модульной арифметики таково, что если взять произвольное простое число k, то на любом отрезке длиной k ряда натуральных чисел одно из чисел отрезка будет делиться на k. Это и порождает вероятность 1/k.
Далее, берем случайное опять же натуральное число b и берем отрезок длиной k, чтобы b было внутри - вот и на b распространилась эта вероятность 1/k.