"Could they have left yesterday?Неужели они уехали вчера? " Почему Perfect, если говорится о истекшем промежутке времени?

Could they leave yesterday? = "Была ли у них возможность уехать вчера? "
Could they have left yesterday? - "Вероятно ли, что они уехали вчера? "

В первом случае речь о наличии/отсутствии самой возможности уехать - деонтическая модальность.
Во втором случае речь о том, уехали они или нет - эпистемическая модальность.

Вообще проще понять через утвердительные предложения:
I could swim - Я умел плавать (сама возможность, способность) .
I could have dropped it in the shop - Возможно, я обронил это в магазине (предположение) .

Просто посмотрите хороший учебник вроде Мерфи про употребление could с инфинитивом и перфектом. Здесь речь не о временах, а именно о случаях употребления could.

Perfect, если уточнить терминологию, это вид, а не время. В данном случае - инфинитива have left при модальном глаголе. . В нем времени нет, а форма выражает модальность.

потому что тут есть Perfect, но нет Present

Эмоция на тему:
"(Ну) как они могли уехать вчера?! "

Это сложная тема и я советую повторить/почитать литературу о модальных глаголах и о перфектном инфинитиве. В рамках одного ответа сложно объяснить.

Чтобы было понятнее, нужно рассмотреть утвердительное предложение.

They could have left yesterday.

1. У модального глагола can есть несколько значений. В некоторых он может иметь формы прошедшего времени, но в значении допущения, теоретической возможности -- нет. Could в данном случае не форма прошедшего времени, а более вежливая или менее категоричная форма по сравнению с can. Также could может быть формой сослагательного наклонения.

2. Поскольку в значении допущения глагол can не может выражать временную соотнесенность, то эту функцию берет на себя инфинитив. Если речь о теоретической возможности действия вообще, или в настоящем, то используется обычный инфинитив. Если речь о возможном действии в прошлом, то используется перфектный инфинитив.

Сравните:

They can leave tomorrow. Они могут уехать завтра.
(Возможно, что они уедут завтра. )
They could leave tomorrow. Не исключено, что они уедут завтра.
(меньшая степень уверенности)

They may have left tomorrow. Они могли уехать вчера. (это возможно)
(can в данном контексте редко используется, чаще may -- таков узус, хотя грамматической ошибки не было бы)
They could (или might) have left yesterday. Не исключено, что они уехали вчера.

во-первых, это инфинитивный оборот. а для них, для выражени прошедшго существует Perfect Infinitive

Так в Perfect же инфинитив. А неличная форма глагола время вообще не показывает. Время здесь выражает сould. Смотрите тему "модальные глаголы с перфектными инфинитивами".

Это условное наклонение. Не всегда там используется would или should, довольно часто и модальные глаголы.
Could they have left yesterday? - Могли бы они уже уехать вчера? (Большое сомнение, скорее всего не уехали) .
или, что даже более вероятно: они 100% не уехали, но встаёт вопрос - Могли бы они уехать вчера? (Гипотетически была ли такая возможность? )

Тут есть явная связь с настоящим, главное, что сейчас их нет.