Где хранится информация,которую мы сбрасываем в Интернет? У Интернета память бесконечна как Вселенная?!?!

Да, бесконечно

Вот пример очень простенького сепрвака. Терабайт эдак на 50. Такие корытца стоят в специальных кондиционируемых помещениях.
Гугль в среднем добавляет до 800 Терабайт в день под своии нужды ? :)
Это только гугль. Так что в принципе считайте, что инет резиновый - вам его не захламить )

Объем не бесконечен. :) Но никто не хранит информацию вечно.

Есть такие сайты... там всё храниться.... с самого начала...

нет, не бесконечна
есть такое понятие, как "хостинг"

ХоL9;стинг (англ. hosting) — услуга по предоставлению дискового пространства для физического размещения информации на сервере, постоянно находящемся в сети (обычно Интернет) . Хостингом также называется услуга по размещению оборудования клиента на территории провайдера с обеспечением подключения его к каналам связи с высокой пропускной способностью (колокация, от англ. colocation).

физическая память сервера ограничена, соответственно объем информации на одном сайте ограничен выделеной под этот сайт физической памятью сервера

Интересно, Вы думаете интернет - это одно какое то место?? ? Ахахахаха!)) ) Откуда я знаю, что вы сбрасываете в интернет. Вообще для современного поколения интернет ограничивается вКонтактом, гвноклассниками, и моим миром!))))

картинки, музыка, видео, набор текста всё это хранится на сервере. Существую хостинги для тех кто хочет создать сайт, но не имеет своего сервера (компьютера) на котором бы могла храниться информация. У больших проектов само собой есть собственные сервера где всё лежит