Захотел поиграть в провайдера :))

Ничего архисложного с технической точки зрения тут нету.
Первое, в чем нужно определится - это топология сети и то, будите ли вы взымать с ваших абонентов плату и за что. В случае, если вы собираетесь взымать плату - будете ли вы работать легально или нет. Впрочем, для легальной работы в статусе провайдера вам нужно будет сдать узел связи, а сделать его в квартире ну никак не выйдет.
По оборудованию - вам как минимум нужен будет роутер, котрый умеет NAT и коммутатор. В качесвте роутера прекрасно может работать компьютер с UNIX-подобной ОС на борту. Коммутатор можно взять любой, но надо учесть, что в сети с неуправляемым коммутатором у вас будет бардак, а сделать с этим вы нихрена не сможете. Если вы настроены серьезно - то вам нужен управляемый коммутатор 2 уровня. В зависимости топологии сети и методов изоляции абонентов может пригодится поддержка таких вещей, как VLAN 802.1q, привязка МАК-адресов к порту, ACL, DHCP-опция 82 и контроль досупа через 802.1X. Вот неплохой коммутатор для начала: http://www.dlink.ru/ru/products/1/706_b.html

Доступ абонентов к интернету возможен разными путями, и это будет напрямую зависеть от того, какую топологию и какие методы изоляции абонентов вы для этого решили использовать. В простейшем случае нужно настроить NAT на роутере. Если есть желание пилить трафик, то помимо ната надо настроить еще шейпер. Однако такие методы хороши для внутриофисной сети.
Для сети с чужими людьми требуются методы по их контролю и по подавлению деструктивной деятельности отдельных придурков. В частности, требуется надежная идентификация абонентов, чтобы малолетний вандал Вася Пупкин не мог выдать себя за белую и пушистую Таню Иванову. Для обеспечения этого можно использовать разные методы:
1. Привязка МАК-адреса к порту коммутатора - это дешевый метод для маленьких сетей. На сервере доступа достаточно настроить NAT и сенсор NetFlow для сбора статистики.
2. Использование туннелей PPPoE (PPtP и др. ) с аутентификацией, авторизацией и аккаунтингом на RADIUS - сервере - хорошо масштабируемый метод, может использоваться в крупных сетях. Отличается очень большой гибкостью. Нужна программа-сервер для терминирования PPP соединений (прекрасный выбор - mpd в ОС FreeBSD), RADIUS - сервер и база данных.
3. Использование виланов 802.1q - метод обеспечивает максимальную защиту клиентов от вредоносной деятельности, но отличается не очень высокой гибкостью. В крупных сетях для терминирования виланов желательно использовать не роутеры, а управляемые коммутаторы 3 уровня. Для настройки терминирования виланов ОС роутера должна их поддерживать. Linux и FreeBSD это прекрасно умеют делать.
4. Адская смесь из ACL и DHCP option 82
5. 802.1X - это гибкость метода 2 + надежность метода 3, но железки более дорогие.

Вобщем, определитесь с топологией и тогда вам будет ясно, что нужно настраивать и покупать. А еще - сходите сюда: www.nag.ru

Для начала нужно подключить сервер к сети. Причём желательно, что бы канал был толстый. Затем следует купить у провайдера постоянный IP. Далее можно привязать этот IP к какому-нибудь домену, что бы пользователи заходили на сервер не по вводу IP, а по привычному адресу. Наконец на сервере должна быть установлена серверная ОС. Что-нибудь из Unix или Windows Server.

провайдер и сервер две разницы для этого поставь для начала серверную ос

Если хочешь раздавать интернет, то серверная ось не нужна. Настрой NAT или Proxy и раздавай через эти службы.

Чтобы поднять сервер в первую очередь должно хватать сил. Они тяжелые бывают.
А кроме шуток - вы вообще понимаете, что делаете и зачем? Поднять сервер - это, во-первых, весьма расплывчатое понятие, а во-вторых - это не сделает вас провайдером.