У трёх пиратов есть пять монет достоинством в 1 череп, 2 черепа, 4 черепа, 8 черепов и 16 черепов... ( см. далее )

Моим способом
1.Раскладываем монеты на три кучки
1+1+3
Выбираем 2 монеты, которые будут по одной – С из 5 по 2= 10 способов. Оставшиеся 3 – третья кучка.
1+2+2.
Выбираем 1 – 5 способов, разбиваем 4 оставшиеся на 2 кучки – выбираем 2 из 4, С из 4 по 2 и делим на 2, т. к. всё равно, что выбрать, что оставить – получится один способ, который мы посчитали за 2. Всего 5*3=15 способов.
Итого разбить на кучки 25 способов.

2.Распределяем пиратов по кучкам (разным!) . 3!=6 способов.

Получили в итоге 6*25=150 способов.

Вашим способом.
1.Первому – 1 монету, 5 способов. Тогда второму от 1 до 3 монет из оставшихся 4.
1 монета -4 способа,
2 монеты – С из 4 по 2 = 6 способов (Вы забывали делить на 2, выбор монеты в порядке 16 и 8 – то же самое, что 8 и 16 – в итоге у пирата одни и те же монеты)
3 монеты – 4 способа (одну оставить)
Итого 5(4+6+4)=70

2.Первому – 2 монеты, С из 5 по 2=10 способов. Тогда второму от 1 до 2 из оставшихся 3.
1 монета -3 способа,
2 монеты -3 способа (одну оставить)
Итого 10(3+3)=60 способов.

3.Первому – 3 монеты, С из 5 по 3 =10 способов. Тогда второму 1 из оставшихся 2 – 2 способа.
Итого – 10*2= 20 способов.

Всего 70+60+20=150 способов.

Формула включений и исключений.
3^5-C(3,2)*2^5+C(3,1)1^5=150.
C(n,m)- число сочетаний из n по m=n!/(m!(n-m)!)

3 в 5 - й степени способов, то есть всего 243 способа.
Рассуждение.
Все монеты разные. При любом способе дележки каждой из них можно сопоставить ровно одну из букв А, Б, В (в зависимости от того, кому из трех пиратов она достанется) . Также для каждого способа дележки можно записать эти буквы в порядке возрастания достоинства монет. И тогда каждому способу распределения монет будет соответствовать одно сочетание букв ("слово").
Начиная от ААААА (все монеты достались первому пирату) , ААААБ (монета в 16 черепов досталась второму пирату, а все остальные - первому) и так далее до ВВВВВ (все досталось третьему пирату) . Очевидно, всего таких "слов" будет 3*3*3*3*3=243.
P.S.
Кстати, если уж привлекать термины комбинаторики, тут вовсе не сочетания без повторений, и уж тем более не формула включений и исключений. Здесь простое "размещение с повторениями из 3 по 5".

25 способов