[Linux] Как удалить какую либо программу?

Насчет того, что "на Windows программы устанавливаются в одну папку, а не в несколько как на Linux" ты глубоко заблуждаешься. В виндовс тоже неплохо заиметь привычку удалять программы деинсталлятором.
В Ubuntu программы удаляются либо через менеджер пакетов, либо через терминал sudo apt purge programm1* programm2* programm3*

Нажимаем «Меню», «Приложения», «Стандартные» и выбираем «Терминал».
Откроется окно инструмента. Теперь, чтобы посмотреть список всех установленных приложений вводим команду «dpkg–list» или «dpkg–l» (без кавычек)
Появится список приложений. Находим то, что нужно удалить. Запоминаем правильное название (с пробелами и подчеркиваниями)
Чтобы удалить программу, а также все её файлы и настройки вводим «sudoapt-get --purgeremoveимя_приложения»
Если вы хотите переустановить программу, а поэтому настройки нужно сохранить, вводим «sudoapt-getremoveимя_приложения»

Windows как и Linux разбрасывают файлы программ по нескольким каталогам.

sudo apt remove имя_пакета - удаляет bin файлы
sudo apt purge имя_пакета - удаляет bin файлы и файлы конфигурации
(sudo apt remove --purge имя_пакета)
sudo apt autoremove - удаляет неиспользуемые зависимости
sudo apt autoclean - удаляет кэш неиспользуемых пакетов
sudo apt clean - очищает кэш загруженных пакетов

В Synaptic, Aptitude все это можно делать наглядно.

Пользовательские настройки удаленных программ удаляются в ручную в каталоге пользователя.
Удаленные сторонние пакеты могут оставлять остаточные файлы в каталоге /opt

Snap, Flatpak удаляются соответствующими утилитами.

BleachBit, FSlint, Sweeper, Ubuntu Cleaner, GCleaner могут помочь в поиске остаточных файлов, но пользоваться ими желательно только как расширенный поиск, удалять с их помощью ничего не нужно, особенно запускать от root(а).

aptitude purge ~c поможет, только осторожно с этой командой.

Если не ошибаюсь в менеджере приложений по долгому тапу или через три точки, просто давно на маке но по аналогии.