Это называется - Локальная сеть. Т. е. в данном случае твоя домашняя сеть.
В интернете полно всяких руководств по настройке локальных сетей.
Разница их заключается в видах оборудования использующихся для этого и операционных системах установленных на Компьютерах (хостах) .
Значит, в твоём случае надо искать и читать литературу "Как построить локальную сеть через свитч"
И добавить вид операционной системы (Семёрка или ХР или какая другая) . Или и ту и другую если операционки разные на машинах.
Свитч - это что-то типа тройника (разветвителя) в электрической сети. Принцип его работы такой же.
Тут важно прописать в настройках сетевых карт разные IP-адреса.
Вот, к примеру, несколько ссылок по твоему вопросу.
http://www.infowall.ru/index.php?menu_id=openprogarticle&art_id=440
http://silidona.narod.ru/switch.html
Роутер - машинка другого типа - он сам назначает IP-адреса подключаемым хостам. И сейчас практически все роутеры снабжены ВайФай функцией.