Когда пишется don`t или not перед глаголом в англ. языке?

Not перед глаголом "пишется" в любом случае, как в обоих примерах.
I do NOT(don't) talk about it.
I am not talking about it.

Твой вопрос на самом деле о том, когда "пишется" do.
Оно "пишется", когда нет других вспомогательных глаголов, участвующих в образовании форм.
I have come. I haven't come.
I was born. I wasn't born.
Mom was reading. She was not reading.
I eat. I DO NOT eat.

Not здесь пишется в обоих примерах, просто в первом оно сокращенное: I don't = I do not.
Просто разные времена. I don't talk about it - Present Simple. Я не говорю об этом (вообще). Для образования отрицания используется вспомогательный глагол do + not.
I am not talking about it - Present Continous. Я не говорю об этом (в данный момент). Вспомогательный глагол в этом времени уже есть - am (I am talking), поэтому do для образования отрицания уже не нужно, добавляем только not.

отрицание в всех примерах относится к вспомогательному глаголу а не к основному

Тебе надо понять, что отрицание not ставится не ПЕРЕД последующим смысловым глаголом, а ПОСЛЕ предыдущего вспомогательного (do, am, is, are), и относится именно к нему. Таким образом получаются совершенно однотипные сочетания: do not, am not, is not и т. п.
Вот примеры фраз:
I do not talk about it = Я не разговариваю об этом (вообще)
I am not talking about it = Я не говорю об этом (сейчас)
He does not go to school = Он не ходит в школу
He is not going to school = Он не идет в школу

Внимание! Англичане в разговорной речи постоянно используют сокращения, и именно из-за этого возник твой вопрос: в сокращенных записях ты просто не заметил этой самой однотипности:
I don't talk about it
I'm not talking about it
He doesn't go to school
He's not going to school
--------------
К сожалению, сейчас в школе сразу приучают детей к разговорным сокращенным выражениям. Дети их заучивают, и порой даже и не догадываются, что don't на самом деле означает do not.

Я об этом не говорю.
Я не говорю об этом.

В первом случае отрицается обстоятельство, во втором - сказуемое.