Определить формулу.

Смотри: у тебя n разных символов (в описанном случае n = 3: 1, 2, 3). Тебе нужно скомбинировать их по m или меньше штук (в описанном случае m = 3), причем порядок важен (123 и 321 - разные комбинации) . Значит:
1) для комбинаций из ровно m символов возводишь n в степень m (то есть считаешь n^m), потому что в каждой из m позиций может стоять любой из n символов. Это и будет число комбинаций: 3^3 = 27
2) для комбинации из m-1 символов возводишь n в степень m-1 (то есть n^(m-1)). 3^(3-1) = 3^2 = 9
3) и так далее. когда дойдешь от m до 1 символа, возводишь n в 1 степень - это будет сама n (комбинаций из одного символа столько, сколько у тебя символов - логично, нэ?) . Ты об этих комбинациях, кстати, забыл. Здесь их будет 3^1 = 3.
4) суммируешь все полученные значения (здесь их всего три, потому что у тебя максимум три символа в комбинации, а чем длиннее - тем больше) - это и будет суммарное число комбинаций: 27 + 9 + 3 = 39 (или 27 + 9 = 36, как у тебя, если отбрасывать единичные комбинации, но я причин для этого не вижу)

И да, занимается такими вещами раздел науки под названием комбинаторика ( http://ru.wikipedia.org/wiki/Комбинаторика ). Советую познакомиться с ее основами, особенно если дальше тебе предстоит много заниматься такими задачами. На самом деле ты и сам пытаешься сейчас ее применять, но фактически вынужден изобретать ее сам, хотя все тебе на этом этапе необходимое давно придумано.