Если КПД обычного угольного бытового котла 50-70%, то куда девается остальная энергия топлива?

Основные потери из-за того, что горячие продукты сгорания улетают в атмосферу унося с собой тепло. Для полного охлаждения нужна большая поверхность контакта, также и тяга меньше будет и скорость самого процесса теплообмена за счёт уменьшения полезной разности температур. Всё это решается установкой теплообменного оборудования и газодувки, но тут появляются лишние энергетические затраты и финансовые тоже.

Если котел предназначен для водяного отопления, то при расчете КПД котла за полезное действие скорее всего был принят нагрев исключительно воды в водяной рубашке котла. Нагрев корпуса, дымоходов, с этой точки зрения - бесполезное расходование энергии топлива, т. е. прямые потери. Ведь не факт, что котел будет стоять в обогреваемом этим котлом помещении!

энергия затрачивается на движение частиц. на диффузию тоже надо затратить энергию.

Не будет. Движущей силой любого процесса является выход из равновесного состояния. Чем больше разность температур, тем лучше будет греть котел. Что касаемо греющего дымохода.. . дымоход греется только тем воздухом, слои которого находятся рядом со стенкой дымохода. Центральные слои воздуха не сильно отличаются по температуре от околостеночных, потому уходят вверх и просто "греют улицу". Для существенного увеличения КПД рекомендуется изменить конструкцию дымохода. Одно отверстие заменить блоком трубок. А в межтрубное пространство подать теплоноситель (сойдет и дистиллированная вода, если работать по замкнутому контуру)

Верно но факт есть факт 60% просто уходят в атмосферу и даже если создать водяную рубашку (т. к. вода наиболие теплемкое вешество то это увеличит КПД только гдето около 6%) нужно менять систеьу труб и вобще шевелить мозгами пока некогда КРИЗИС на дворе нужно деньги зарабатывать...