Помогите разобраться с глаголами в предложении
Есть предложение:
"Разбойники не решались нападать на эту группу людей, они предпочитали оставаться на расстоянии"
Интуиция подсказывает, что там должно быть "они предпочли остаться", а не "они предпочитали оставаться", но почему именно так - понять не могу. Единственная разница между глаголами: их совершенный и несовершенный вид.
Собственно в этом и вопрос: как правильно и почему?