Где должно хранится специальная доверенность доверителя?

Доверенному лицу отдана доверенность - внуку, если он присутствовал у нотариуса.

сходите к нотариусу и отзовите доверенность
только идите в очках и с другим юристом

Нотариус отдает доверенность человеку, ее выдавшему, т. е. вам. А что с ней делать_ то ли под подушку положить, то ли внуку отдать - решать вам...

Доверенность хранится у доверителя, т. е. у внука.
Чтобы ознакомиться нужно попросить ее у внука, если по каким-то причинам это невозможно.
Может быть можно обратиться к нотариусу выдавшего Вам доверенность, может быть у них осталась копия или в их базе данных, в программе. Но, к сожалению, это маловероятно.

А почему она не у Вас на руках?

У доверителя.
Доверенность – именной документ. А значит, в ней должно быть указано лицо, которому она выдана, а также лицо, которое ее выдало. Доверенность может быть выдана как на имя одного доверенного, так и на имя нескольких, которые могут выступать сообща или каждый по отдельности. И выдать ее может не только один человек, а сразу несколько.

Срок действия доверенности устанавливается по желанию того, кто ее выдает, но не может превышать трех лет (ст. 186 ГК РФ). Если срок не указан, она действительна в течение года со дня выдачи. Исключение составляет «бессрочная» нотариально удостоверенная доверенность, выданная для совершения действий за границей, которая сохраняет силу до ее отмены.