Как построить геоиндекс, чтобы можно было быстро извлекать записи, упорядочивая их по расстоянию от заданной точки?

А никак. У тебя функция недетерминистская по определению, функциональный индекс сделать не получится, придется перебирать по одной. Full table scan и никак иначе.