Роутер и 2 компьютера

С любого роутера кабелем, по-умолчанию, можно подключить до 254 компьютеров.

Я правильно понимаю, что для этого мне нужен роутер? - Совершенно верно.
С его помощью я смогу подключиться на обоих устройствах? - Да, причем независимо друг от друга.
Подключение нужно не по воздуху, а по кабелю. Там LAN порты выходные же есть, через них смогу? - Да, через них как раз и подключаются проводные клиенты.
Роутер как разветвитель служит? - Скорее, как небольшой прокси-сервер.
Какая будет скорость, пинг, задержки? Минимальные, как и при обычном кабельном подключении или есть нюансы? - Скорость будет не выше, чем дает провайдер. Внутри сети роутера - на его максимальной скорости. Пинг может быть несколько мс.
Инет будет пополам делиться или кто сколько жрет - столько и жрет? - Не строго пополам. А по нагрузке.

"Я правильно понимаю, что для этого мне нужен роутер?"
правильно

"С его помощью я смогу подключиться на обоих устройствах?"
Да . он именно для этого и существует

"Подключение нужно не по воздуху, а по кабелю."
Проложишь кабель - будет по кабелю

"Там LAN порты выходные же есть, через них смогу?"
Зависит от модели роутера. Есть рассчитанные только на WiFi

"Роутер как разветвитель служит?"
нет
он подключается к провайдеру (как комп) а потом раздаёт как разветвитель

"Какая будет скорость, пинг, задержки? Минимальные, как и при обычном кабельном подключении или есть нюансы? Инет будет пополам делиться или кто сколько жрет - столько и жрет?"
это всё зависит от роутера и настроек (если возможно)

нужен свитч - просто в роутер он часто встроен

По кабелю с роутера скорость будет максимальная. Деление между двумя компами по принципу - кто сколько захватит. Это если настройки по умолчанию. Теоретически на нормальном роутере можно ставить приоритеты по портам. Т. е. выставлять скорость на порт. Но это на продвинутой железяке