Права налоговая или нет?

Если, как Вы пишете, только - "сказали" - то ничего страшного.
Из "слов" обязанность уплаты штрафа не следует, из "слов" может следовать только взятка.
Обязанность уплаты штрафа может быть наложена только документом.
Если же составили протокол, вынесли постановление - тогда напишите, что и и по какой статье, будет ясно, что делать конкретно.
Видимо, это все по ФЗ от 8 августа 2001 г. N 129-ФЗ "О государственной регистрации юридических лиц и индивидуальных предпринимателей", почитайте его на гаранте. ру. Как сказал ИФН про ст. 5 п. 5 :
5. Если иное не установлено настоящим Федеральным законом, юридическое лицо в течение трех рабочих дней с момента изменения указанных в пункте 1 настоящей статьи сведений, за исключением сведений, указанных в подпунктах "м", "о" - "с", и индивидуальный предприниматель в течение трех рабочих дней с момента изменения указанных в пункте 2 настоящей статьи сведений, за исключением сведений, указанных в подпунктах "м" - "р", обязаны сообщить об этом в регистрирующий орган по месту своего соответственно нахождения и жительства.
А Выше сказано
2. В едином государственном реестре индивидуальных предпринимателей содержатся следующие сведения об индивидуальном предпринимателе:
е) данные основного документа, удостоверяющего личность гражданина Российской Федерации на территории Российской Федерации (далее - основной документ) (в случае, если индивидуальный предприниматель является гражданином Российской Федерации) ;

Ну и
Статья 22.2. Порядок внесения изменений в сведения об индивидуальном предпринимателе, содержащиеся в едином государственном реестре индивидуальных предпринимателей
2. Представление документов для внесения в единый государственный реестр индивидуальных предпринимателей изменений, касающихся сведений об индивидуальном предпринимателе, осуществляется в порядке, предусмотренном статьей 9 настоящего Федерального закона. При этом верность копии документа, подтверждающего изменение ранее внесенных в единый государственный реестр индивидуальных предпринимателей сведений об индивидуальном предпринимателе, должна быть засвидетельствована в нотариальном порядке, за исключением случая, если заявитель представляет ее в регистрирующий орган непосредственно и представляет одновременно для подтверждения верности указанной копии соответствующий документ в подлиннике. Данный подлинник возвращается заявителю при выдаче регистрирующим органом предусмотренной пунктом 3 статьи 9 настоящего Федерального закона расписки.

А вот по какой статье Вас привлекли - это уже интереснее. Тут могут быть и варианты.
Если, как пишет ИФН по ч. 3 ст. 14.25 КоАП РФ - то нарушение (просрочка в 2 дня) могли бы вполне признать малозначительным или вынести предупреждение. Об этом стоит потолковать в ИФНС.

Вообще я не совсем понимаю какую-либо обязанность граждан сообщать в налоговые органы о замене паспорта. Ведь в Адм. регламенте ФМС о выдаче и замене паспортов обязанность передавать такую информацию в налоговые органы возложена на ФМС :
57. Подразделения, осуществившие выдачу или замену паспорта, представляют:
57.2. В течение 5 дней в налоговый орган по месту жительства гражданина сведения о фактах первичной выдачи и замены паспорта, и об изменениях персональных данных, содержащихся во вновь выданном паспорте.

Зачем еще возлагать аналогичную обязанность на граждан. Это же дополнительные очереди, дополнительные потоки информации, двойные издержки граждан - и как налогоплательщиков, финансирующих деятельность ФМС по передаче указанных данных в ФНС, и издержки самих граждан. Естественно, по линии ФМС - ФНС такие издержки будут ниже в связи с постоянным характером процесса. Почему два госоргана - ФМС и ФНС - не могут между собой нормально организовать этот процесс, и не тратить зря народные деньги ?

Если Вы ИП то да! Это нарушении п. 5 ст. 5 федерального закона от 08.08.2001 № 129-ФЗ

Согласно пункту 5 статьи 5 Этого закона индивидуальный предприниматель в течение трех дней с момента изменения вида и данных документа, удостоверяющего личность, обязан сообщить об этом в регистрирующий орган по месту своего нахождения и жительства.

ч. 3 статьи 14.25 КоАП
Непредставление, или несвоевременное представление, или представление недостоверных сведений о юридическом лице или об индивидуальном предпринимателе в орган, осуществляющий государственную регистрацию юридических лиц и индивидуальных предпринимателей, в случаях, если такое представление предусмотрено законом, -
влечет предупреждение или наложение административного штрафа на должностных лиц в размере пяти тысяч рублей.
ИМХО могли бы ограничится ПРЕДУПРЕЖДЕНИЕМ!

Вы индивидуальный предприниматель или директор или учредитель юридического лица?