какой движок используется в вк, мейл или яндекс?

Явно самописный, написаный рукастым программистом.

Для соц сети можно использовать скрипт Social Engine
Для поисковой системы Magic Search.

самописной, конечно

Хех. Не Joomla))
CMS для проектов такого уровня могут изначально писаться на базе какого-то движка. Но потом все равно переписываются.
У этих проектов все изначально было самописное.
Каждый проект уникален, а популярные CMS (даже специализированные) страдают излишней функциональностью, которая создает дополнительную нагрузку.
В яндексе работают более 4 тысяч сотрудников. На мэйле - около 3. Далеко не все они программисты, конечно, но.. . В вк меньше всего разработчиков - всего несколько десятков по слухам.
Подобрать подходящую по функциональности готовую CMS - можно. Сделать на ее основе проект такого уровня - нет.