да, можно. необходимо будет настроить шлюз (на клиентских машинах) , указав адрес соответствующего узла провайдера. авторизация через VPN/программу, в такой схеме невозможна (возможна авторизация только по IP/MAC-адресу, что не очень хорошо с точки зрения безопасности написал не подумав. по сетевому адресу, авторизация будет также невозможна. видимо, из вариантов только ICS/NAT).
скорость будет зависеть от потребления трафика компьютерами, и лимитирована 100(или 1000) Мбит/с пределом скорости сетевого оборудования. для балансировки нагрузки, в дополнение к роутеру будет необходим шлюз (с ним, возможна более защищенная система авторизации, рекомендую VPN).
p.s.: Wi-Fi роутеры глючат не сильнее Ethernet-роутеров. другое дело, что для организации беспроводной сети, необходимо дополнительное оборудование (PCI-E/USB-модуль Wi-Fi) для устройств без встроенных приемников, и "пробиваемость" сигналом (прямая видимость, либо не более 3 железобетонных стен) .
upd: да, можно. но адаптер должен поддерживать режим Access Point (хотя бы на уровне Software, т. е. драйвера/утилит в комплекте) . если поддержки нет, придется пользоваться глючными утилитами типа Connectify.
фактически, настольный компьютер будет являться роутером. учтите, что это более глючный метод, чем при использовании "железного" Wi-Fi роутера (ввиду несовершенства программной реализации) . плюс, раздаваемый интернет будет шейпиться в пользу хоста: то есть, ноутбуку будет доставаться меньше пропускной способности канала, чем раздающему компьютеру. в остальном, недостатков у такой схемы нет (и, это дешево: потребуется прикупить только адаптер. рекомендую с PCI-E интерфейсом, не USB).