"был обычай говорить"... где подлежащее и сказуемое?

Мне кажется это сплошное сказуемое.

может быть, подлежащее - обычай говорить, а сказуемое - был

это все сказуемое

Был - сказуемое, обычай- подлежащее, говорить - несогласованное определение.

Жаль, что вы не даете весь контекст. Глагол " был" ,как правило, является связочным в составном глагольном или именном сказуемом. Говорить--это, однозначно, несогласованное определение.
А грамматическая основа "обычай был" не совсем информативна.
Нужно приводить все предложение.