Если расширение пространства при большом взрыве происходило сразу везде, а не из одной точки, то как можно объяснить?

Расширением пространства называется наблюдаемое явление убегания далёких объектов "всех от всех". Оно не происходило, а происходит. И сразу везде, тут вы правы. И не из одной точки, тут вы тоже правы.
И материя никогда не была сосредоточена в одной точке. Космологическая сингулярность - это не точка.

Сингулярность это не обязательно геометрическая точка.

Если говорить о расширении пространства, то есть простая аналогия. Представьте, что вы живете на поверхности шара (сфере). В какой-то момент в времени случается Большой взрыв и сфера начинает раздуваться. При этом каждый свидетель этого события будет наблюдать следуюшее: все соседи, ноходящикся рядом разлетаются от него. Именно по этой причине мы видим, что галактики разлетаются во разные стороны. При этом, наблюдатель находящийся в другой галактике будет наблюдать в точности такую же картину.

Однако, в нашем примере разлет начался вовсе не из одной точки, а однородная картина ращбегания связана с тем, что проверхность оказалась искривленной. Напомню, что в нашем мысленном эксперименте наблюдатели находились на поверхности. Если говорить о струтуре Вселенной, то речь идет не об искирвленном трехмерном пространстве (а не о сфере как в примере).

Если говорить о пространстве, под которым в физике подразумевают вакуум, то его трудно назвать абсолютной пустотой. Это пространство наполненно полями: электрическим, магнитным (вместе электро-магнитное), слабое, сильное и поле Хиггса. Таким образом, с физической точки зрения, сингулярность - это гигантская флуктуация этих полей, которая привела к картине разлетающеся Вселенной.

В момент взрыва точка и везде было одно и то же. И везде оставалось всегда. Это вопрос скорее философский, чем физический.

В том и сингулярность, что в точке не было материи, но зато плотность у неё была бесконечна ☺️
... А пространство без материи - нонсенс. Нечем померить

Это можно объяснить гиперболой.
https://ru.wikipedia.org/wiki/Гипербола_(риторика)

На момент начала описания видимая Вселенная была размером, скажем, с апельсин, а кто-то его точкой обозвал.

Берёшь микроскоп настраиваешь на предмет и начинаешь на него наезжать, увеличивая изображение и т. д. Скажите, что мой пример не соответствует положению вещей. Даже начало такое же, только никакой сингулярности и высоких температур...