К чему относится слово "отставной" в поговорке "отставной козы барабанщик": к козе - или к барабанщику?

"Отставной" заведомо относится к барабанщику, а не к козе, что прямо следует из объяснения данного фразеологизма в словарях. Например, в словаре Ушакова:

"Отставной козы барабанщик - незначительный человек, потерявший общественное положение (от старинной забавы: коза, т. е. наряженный козой, и барабанщик сопровождали вожака с медведем)".

В. И. Даль в своём словаре дополнительно указывает, что так в шутку отвечают "на похвальбу отставного службою своею". Т. е. отставной у нас именно барабанщик, а никак не коза.

Осталось понять, почему всё-таки барабанщик "при козе". Вот что говорит по этому поводу "Опыт этимологического словаря русской фразеологии" (1987):

"Восходит к представлениям бродячих цирковых актёров, одним из номеров которых была коза, бившая в барабан. В этом номере использовано природное свойство козы: голодная, она бьёт ногой о землю, о какой-л. предмет. В такт движениям козы за сценой в настоящий барабан бил человек (обычно отставной армейский барабанщик). Образовалось по аналогии с "отставной гвардии полковник"."

Коза отставная.
Объяснить не просите, не смогу)

Отставной барабанщик при козе :
"...Почти до самой революции в глуши можно было увидеть бродячую труппу нищих или полунищих: поводыря с ученым медведем, показывавшим разные «штуки», «козу» — человека, на голове которого было укреплено грубое подобие козьей головы из мешковины, и «барабанщика», часто из отставных солдат, барабанным боем призывавшего «публику».
Оказаться на положении «отставного барабанщика при козе», то есть потерять и эту работу, было уже окончательным пределом бедствия. Вероятно, в языке бродячих трупп и надо искать корни нашего образного выражения..."