как операционная система отличает одно приложение одно от другого?

Загугли что такое процесс и что такое поток.

Телепатией не обладаю. Хоть в комментариях соизволил написать, чего ты хочешь.
Гугли, как получить хендл окна в WinAPI.

Если это Windows, то можно открыть любую папку, потом в меню "свойства папки". Там и будут все типы файлов, то есть там весь перечень, согласно которому система определяет, какое расширение какой программе должно соответствовать.

а тебе зачем?

Для начала, рассматривается расширение файла ( за это отвечает Эксплорер или файловый менеджер, типо Total Commander), если это расширение "закреплено" за какой-то программой (например .psd за Фотошопом), то запускается программа в качестве аргумента (параметра) записывается имя открываемого файла.
В случае с фотошопом получаем: Photoshop.exe c:\Photo\MySuperPuperFile.psd

Дальше программа (в нашем случае фотошоп) уже сама проверяет данные этого файла, если эти данные не корректны, то программа может начать ругаться, если это тупая программа которую пишут ленивые школьники, то просто ни чего может и не произойти. Всё зависит от того кто и как писал программу.

Если же файл "не закреплён" за какой-либо программой, появляется диалог выбора программы для открытия файла.
Если файл имеет расширение .exe или .cmd или .bat то его начинает обрабатывать програмка из состава ОС. Это программа по любому сначала проверит является ли содержимое файла, допустимым для данного типа программы и если всё нормально начнётся более серъёзная работа с этими файлами, там уже дремучий лес, надо знать что такое ОС, ядро, память, процессы и т.д. и т.п.

Если вопрос в том как отличить 2 одинаковых приложения, запущенных на одной машине то можно почитать что такое Instance или экземпляр приложения (по русски)