на примере 2010, в 2007 подобно
сначала все читаем, потом делаем внимательно и пошагово
1. курсор в самое начало страницы № 4. далее выбираем это меню и этот пункт
2. меню вставка - номер страницы и т. д.
3. находясь на 4 странице (см. курсор) отжать в редакторе колонтитулов кнопку "как в предыдущем разделе" (на иллюстрации кнопка еще не отжата)
4. перейти к странице № 3 и там просто стереть циферку номера страницы, хоть бэкспейсом
5. закрыть редактор колонтитулов
voila