Если интернет разделить роутором на два компьютера, то у них при подключении к сети будут разные IP или нет?

Внутренние будут свои, но снаружи они будут видеться под одним ip.
Изменить это можно только подключившись через другого провайдера.

будут последние цифры

Адрес на внешнем порту роутера будет один, тот что предоставил оператор.
а внутри квартиры на каждом устройстве свой адрес.

В твоей локальной сети да, будут разные, а во внешней нет.