если программы пишут на языках программирования, а как пишут сами языки программирования?

- составляют синтаксические формы в простом виде, потом фиксируют в коде их разборку. нпрм, проверку вложенности всяческих скобок ( в логике и арифметическом выражении)
- пишут примитивы (стандартные алгоритмы - математические, строчные) . нпрм разложение в ряд Тейлора для тригонометрических функций, алгоритм поиска в строке типа Шелла. Их много разных.
- операторы ввода/вывода.
Фактически 1й этап - синтаксический разбор на элементарные формы, 2й этап - регистрация действия для компилятора и непосредственное исполнение для интерпретатора

сами ЯП курят...

если вы имеете в виду компиляторы/интерпретаторы - то их компилируют на других компиляторах.

в начале, вручную, используя машинные коды создали такую программу (компилятор) , которая принимает текстовый файл, и преобразует его в машинные коды, то есть создаёт другую программу.
А создавать то можно любую программу. Можно создать другой компилятор, который работает по другим правилам, использует другой синтаксис. . т. е создать новый язык программирования.

Ну это тоже программы.

Условно говоря, первый компилятор ассемблера написали непосредственно в машинном коде. Потом уже появилась возможность написать компилятор ассемблера на ассемблере и получить новый компилятор ассемблера.
Или на нем можно написать компилятор C. И так далее.
Многие низкоуровневые языки этим хвастают. Например, компилятор C, написанный на C. Или, скажем, компилятор C, который сам себя скомпилировал (подразумевается, что есть исходники, при компиляции которых получается .exe-файл, в точности совпадающий с самим компилятором).