Меня интересует вопрос. Где храняться файлы изображений которые размещены на сайте.

"Не на FTP же? ", Вы сначала разберитесь с понятием FTP. Все файлы вашего сайта хранятся на файловом сервере. Где хранятся картинки? Там же. Если вопрос конкретно в какой папке, то ответный вопрос, а что мешает щелкнуть по картинке из какой-либо статьи правой кнопкой мыши и выбрать пункт "Копировать URL картинки". Вставить этот url, в адресную строку и просмотреть путь?
"А если наапример, я использую свою инфраструктуру, где я должен хранить эти файлы? " Вас очень сложно понять, что вы хотите. Если ваш сайт на какой-либо cms(система управления сайтом) , то эта система сама знает где и что ей хранить. Вам вообще не стОит беспокоиться по этому поводу. Программисты уже все продумали. Вам остается только заливать контент. Если у вас что-то вроде крутого интернет магазина, где будет "миллион" картинок - вам нужно будет увеличивать дисковое пространство у своего хостера, на котором размещен сайт, также задействовать дополнительные платные услуги аппаратной производительности

Смотря куда их автор сайта положит. По сути, на странице сайта только ссылки на картинки. Можно положить их в одну папку со страницей, а можно создать отдельную папку и туда складывать все изображения, так нормальные люди и делают. А можно вообще разместить картинку, на твоём сайте не хранящуюся (например, логотип Гугла) .
Что касается соцсетей, то там вообще какая-то содомия творится. Попробуй скопировать ссылку на изображение в каком-нить ВК и тщательно её изучить. Мозг сломаешь, но не поймёшь нихрена.

Хранятся на сервере хостинг-провайдера

на серве где стоит сайт...