Подскажите, пожалуйста, в какой форме нужно поставить глагол (английский)

We were in a very difficult position. We (not / know) what to do.

Тут либо Past Continuous либо Past Simple
Как определять правильное время? Я запутался, помогите