Настройте папки так. чтобы отображались расширения имён файлов. Для этого откройте любую папку в проводнике, далее Сервис -- Свойства папки.. . --вкладка Вид -- снять флажок "Скрывать расширения для зарегистрированных типов файлов", далее нажать кнопки Применить, Применить ко всем папкам и ОК. Теперь спокойно переименовываете всё, что угодно, во всё, что угодно.
Отображать расширения, и менять. Сервис-свойства (либо параметры) . Где-то должен быть пункт отображать расширения. Либо в тотале.
Включить отображение расширений файлов: Свойства - Свойства папки - Вид - Файлы и папки - убрать галочку из "скрывать расширения для зарегистрированных типов файлов. Нажать ОК.
Щелкнуть по файлу правой кнопкой мыши и выбрать "переименовать". После точки в поле имени файла замените txt на html.
в верху окна Сервис, потом Свойства папки, потом Вид и снять галку с Скрывать расширения файлов.