Вопрос по поводу английской граматики

The inspiration to restore the castle came to Josh Faulkner when he ...( swim) in the sea on an unusually warm August afternoon.
В выше приведенном предложении нужно поставить глагол swim в нужную грамматическую форму. Я поставил swam, и это оказалось неправильно. И если можно, аргументируйте свой ответ.