Просмотр и редактирования exe файла

exe-файлы - это исполняемые файлы.
Ассемблер - низкоуровневый язык программирования, одна мнемоника которого равна одной команде процессора. Поэтому любой исполняемый файл можно дизассемблировать.
Обычная структура exe- файла описана в заголовке: сначала идёт код, затем указано необходимое для работы программы количество оперативной памяти (саму память в память не пишут, она выделяется во время работы программы) и в конце добавляются ресурсы программы.
Бывает, что ресурсы пишутся в отдельный файл.
Бывает, что память выделяется динамически.
Бывает, что программа вызывает системные функции, а так же функции из динамически загружаемых библиотек (DLL - dynamic load library).

Просматривать файл в шестнадцатиричном (hex) редакторе имеет смысл, когда знаешь типовые сигнатуры. В частности тип почти любого файла (но всё-таки не любого) можно определить по его первым двум байтам. Например, у exe-файлов эта сигнатура (первые два байта) равны 4D 5A и в обычном текстовом редакторе выглядят как буквы "MZ"

PE Explorer - программа для просматривания, анализирования и редактирования внутреннего содержания исполняемых файлов. (exe, dll и т. д.) Многочисленные инструменты под общим интерфейсом позволят вам заглянуть внутрь большинства программ, которые работают под управлением Windows. С помощью этой программы легко подвергнуть анализу, редактированию или оптимизированию нужные вам файлы, переводить программы на другие языки, распаковывать и восстанавливать сжатые файлы, изучать дизайн и алгоритмы, используемые в приложениях. Программа подходит для выполнения быстрого анализа exe - файлов, для восстановления потерянной информации при работе над проектами с отсутствующим исходным кодом, для просматривания параметров функций стандартных библиотек, а также для сбора информации об исполняемом файле и отображения её в понятном и структурированном виде.

CodeWeavers например

из всего этого начни с ассемблера