В какой трубе тяга будет лучше в круглой или квадратной?

Тяга зависит не от формы трубы, а от сечения вент. канала, высоты трубы, и расстояния от конька.
При прочих равных условиях, в квадратной кирпичной трубе, образуются дополнительные завихрения воздуха, за счет кладки, по сравнению с круглым сечением асбесто- цементной трубы. Так что круг лучше за счет своей гладкости, даже при меньшем сечении.

в самой высокой

В вертикальной.. . :))
Имеет значение не сечение, а площадь сечения канала... .
А в некоторых случайх - мощность вентилятора.. . :))))

****

Но если обратиться к математике и физике, то:
При одиноковой площади сечения канала, при одинаковом материале канала в круглой трубе тяга будет немного лучше, но лишь потому, что круглая труба, в отличии от любого другого профиля, на еденицу поганожа имеет наименьшую площаль поверхности, а значит и поток воздуха будет встречать наименьшее сопротивление относительно стенок трубы... .
И только по этому....

в круглой и гладкой.

в круглой, т. к. при той же площади сечения, меньше периметр, а значит и трение о стенки, но Вы этого не заметите.

в зигзагообразной

в круглой--- но Вы этого не заметите

В круглой

А тяга чтоли зависит от формы трубы? Ну раз так, то я думаю, что в квадратной, у нас на даче огромная печка, квадратный дымоход небольшого размера, очень хорошо тянет)

Еще один из вариантов добавлю-ромбовидной)) )
vano правильно написал: а от сечения вент. канала, высоты трубы, и расстояния от конька.