имеется колода в 36 карт

А что тут считать? Двадцатью способами. Комбинации, начинающиеся с карты от шестерки (в реальном покере - от двойки, колода 52 листа) до девятки называются "стрит-флеш", от десятки - "ройал флеш" или "флеш-рояль". Например, 10 В Д К Т червей - червовый флеш-рояль. Флеш-рояль - самая старшая комбинация в покере. Их всего четыре штуки (пиковый, трефовый, бубновый и червовый) . Вероятность получить при сдаче 5 карт из 52 флеш-рояль на руки - 1/649740. Вероятность увидеть флеш-рояль в техасском холдеме - одной из популярнейших разновидностей покера - 1/30940.
Формулы? Элементарно! 5 (способов в одной масти при первой карте от 6 до 10: 678910, 78910В, 8910ВД, 910ВДК и 10ВДКТ ) * 4 (масти) =20. Вот и вся формула!

ЭТО НАЗЫВАЕТСЯ в потери масть или флешь. очень редко. тем более что в покер играют только минимум 52 карты. Любая игра где нужно собирать такие разные комбинации называется игры класса рамки. Их очень много. На чемпионатах мира играют только в три игры. Это бридж, канаста и покер. Канаста и покер это то же рамми. Там как раз надо набирать по пять карт одной масти. А в канасту семь карт. Это и называется канаста или корзиной.
Вероятность выпадения всем известна и записана в любой книге по почему с различным количеством карт и колод. У МЕНЯ есть но искать лень.