Буду делать забор со стороны соседа, а его стройматериалы лежат рядом и мешают выкопать ямки под столбы, как сказать ему

Постараться найти причину, зачем ЕМУ будет нужен этот забор. Объяснить эту причину, он сам будет рад убрать. Если ЕМУ этот забор никак не нужен, то продолжая конфликт вот прямо так и говорить. "Иван Иванович, я тут забор строю. Убери нах... свой хлам"
Альтернатива - изменение конструкции забора, чтоб не нужны были никакие ямки (забить, высверлить, отодвинуть в свою сторону на 15 см)

начинай ставить с той стороны где свободно. а там он сам поймёт свою задачу
заодно и помиритесь на этом заборе. и вообще он должен оплатить хотябы половину материалов
у меня вообще сосед за штакетник платил мой брус и работа

А с какого перепуга, соседский шмурдяк, лежит на твоей территории? Попроси спокойно. Не поймёт - всё что на твоей земле, то твоё.

Начинай ставить, а там видно будет...

Например, "Прошу убрать стройматериалы с моего участка в срок 7 дней" (лучше письменно).
Если договориться не получится, то, в соответствии со ст. 304 ГК РФ собственник может требовать устранения всяких нарушений его права, хотя бы эти
нарушения и не были соединены с лишением владения. Вы можете также сами убрать его стройматериалы, это будет одним из способов защиты вашего нарушенного права - самозащита (ст. 14 ГК РФ). А потом потребовать возмещения убытков. Под убытками понимаются расходы, которые лицо, чье право нарушено, произвело или должно будет произвести для восстановления нарушенного права (ст. 16 ГК РФ).

Пусть уберет. Если не уберёт то имеешь подать на него в суд. В худшем случае его хлам который на твоей территории использовать на своё усмотрение. Ах да. Разговор с соседом лучше ещё и записать на всякий случай.

Владелец соседнего участка в мае завалил три метра нашего участка своим строительным мусором и даже разбросал доски на наши кусты красной смородины .Я подошла и указала ему на сей факт. Он сморщился, скривил физиономию, но территорию освободил в этот же вечер...

Да так и скажите- мне будут ставить забор и ваши материалы мешают. Если не уберете, стройматериалы пригодятся мне. Ну раз уж на моей территории

Какие материалы-то? Доски-арматура-уголки? Ну и ходи по ним, если не захочет убирать. Так и спроси - уберёшь или топтаться прямо по этому добру?