Откуда взялось выражение "козел отпущения"?

Ква не очень прав. Надо было не только кого-нибудь убить для задабривания божества, но и кого-то отпустить. Вот второй попавшийся под руку козёл и был козлом отпущения. Его отпускали. Прочь. Чтобы его волки сожрали вместе с грехами. А первого на алтаре прибивали.

есть такой древний иудейский праздник

Это из тех древних времён, когда надо было хоть кого-то убить для задабривания божества, но не повезло именно козлу - он попался под руку первым.

Гаишнику заплати, и всё сойдётся...

Из религии

...и от общества сынов израилевых пусть возьмёт двух козлов в жертву за грех и одного овна во всесожжение. И принесет Аарон тельца в жертву за грех за себя и очитсит себя и дом свой. И возьмёт двух козлов и поставит их пред лицем Господним у входа в скинии собрания; и бросит Аарон об обоих козлах жребии: один жребий для Господа, а другой жребий для отпущения; и приведет Ааарон козла, на которого вышел жребий для Господа, и принесет его в жертву за грех, а козла, на которого вышел жребий для отпущения, поставить живого пред Господом, чтобы совершить над ним очищение и отослать его в пустыню для отпущения... И совешив очищение святилища, скинии собрания и жетрвенника, приведёт он живого козла, и возложит Аарон обе руки на голову живого козла, и исповедает над ним все беззакония сынов Израилевых и все преступления их и все грехи их, и возложит их на голову козла, и отошлет с нарочным человеком в пустыню: и понесет козел на себе все беззакония их в землю непроходимую, и пустит он козла в пустыню.

Козёл отпуще́ния (иначе назывался «Азазель)
https://en.wikipedia.org/wiki/Scapegoat https://en.wikipedia.org/wiki/Azazel

Еще есть "козел-предатель" - ведет овец на бойню, его потом за рога вытаскивают. Это уже в связи с развитием электричества. Древнеевреи тут ни при чем.