Для этого служит системная константа DecimalSeparator.
Соответственно код для поля Edit можно представить вот так:

Но!
Это вовсе не паноцея от всех головных болей.
Т. к. при вводе числа должен быть всего один разделитель…
А вот про это на просторах интернета очень много написано!
К примеру: http://delphiworld.narod.ru/base/number_edit.html