"И снова НДС"

Если эта графа не заполнена при реализации, маловероятно, что налоговая откажется от начислений, тем более, что ононванием к начислению является факт отгрузки, а не счет-фактура по этой отгрузке. Следовательно штрафа не будет.
Если графа не заполнена по приобретенным товарам (работам, услугам) , то она:
1. и не должна заполняться, если не было авансового платежа по этим приобретениям
2. если авансовый платеж был, то платежно-расчетный документ ДОЛЖЕН быть указан (пп 4 п 5 ст. 169)
Значит к вычету легко могут не принять (на основании п. 2 ст. 169) . Следовательно будет недоплата НДС за проверяемый период, пеня от суммы недоплаты, ну может быть штраф за ведение учета с нарушениями, но скорее всего им доплаты налога и пеней хватит...

Для вашей организации не страшно, налоговая не будет убирать начисленный НДС, а вот для вашего покупателя проблема, у них не возьмут к возмещению. И когда их начнут проверять аудиторы либо налоговая, ваши покупатели прибегут к вам с просьбой переделать! Так что лучше сразу заполнять.

а мы ее никогда и не заполняли. . и с НДС при проверках проблем не возникало.

Перечень обязательных реквизитов счета-фактуры, как известно, определяется пунктами 5 и 6 статьи 169 НК РФ. Вместе с тем, толкование этого перечня со стороны налоговых органов и Минфина России нередко носит расширительный характер. Чтобы убедиться в этом, достаточно сопоставить форму счета-фактуры, утвержденную Постановлением № 914, с положениями статьи 169 НК РФ. Вот перечень реквизитов, которые можно условно назвать псевдообязательными:

КПП (код причины постановки на учет) продавца и покупателя;
Расшифровка подписей уполномоченных лиц;
Номер платежно-расчетного документа (за исключением случаев получения авансовых или иных платежей в счет предстоящих поставок товаров, выполнения работ, оказания услуг) ;
Печать организации.

Это не нарушение, если у Вас производится реализация по договору, и в договоре указывается отсрочка платежа.