С чем связано нежелание забрать своего сына к себе на постоянное мж?

Вы можете попробовать поменять позицию. Вашему брату уже 13 лет - он достаточно самостоятельный. Вы все вместе (вы, ваш брат, ваша мама) можете сказать отцу, что мальчик уже вырос. Он уже достаточно взрослый для того, что бы не доставлять много бытовых хлопот.
И ему нужно просто жить и быть с отцом некоторое время. Ему не нужно что-то суперматериальное от отца. Нужен сам факт проживания и общения с папой.
И через год-другой ему уже этого не нужно будет вообще. Это последний срок, когда отец еще может что-то выстроить в личном плане с сыном, с которым толком не знаком с его шестилетнего возраста.
В общем, идите от "нужд" отца. И это все очень зыбко и шатко, надежды на успех мало. Не навязывайте общение отцу. Объясните, что если отец вообще хочет быть близким с собственным сыном - вот он последний шанс. Другого никогда не будет.

Может просто не куда? Может быть так что он сам живёт на баулах.

Это связано с тем, что ребенка надо кормить, поить, учить, убирать, ставить крест на личной жизни и т. д. Это огромная морока и большие деньги. Поэтому он может говорить все, что угодно, но весь этот гемор, связанный с детьми все перевешивает. Поэтому ему проще любить на расстоянии, когда с ребенком только развлекаться, а учить, лечить и т. д. может и кто-то другой. Поэтому он никогда не возьмет брата к себе. Вы не сможете сделать ничего, т. к. гемор, связанный с жизнью с ребенком не переложите.

У него спросить мозгов не хватает?

боится новой жены....