- Мы говорили о математике во время всего обеда. - We talked about mathematics during the whole meal.

Потому что during - это маркер Past Simple. Это надо запомнить.
Было бы for - это к временам Continuous.
Констатируется факт - во время обеда говорили...
Свои понимания длительности исходя из вида русского глагола лучше задвинуть подальше.

и так и так можно...
если вы разницу не понимаете, то и не надо это вам...

янки так говорят

Потому, что само "talk", как и русское "говорить" - долгий процесс.

отождествлять русский перфектив/имперфектив с simple/progressive не стоит. это очень распространенная ошибка для всех славян, у которых аспект (вид) выражается подобным образом. в английском аспект выглядит совершенно иначе, и "продолженный" аспект не совпадает с нашим имперфективом абсолютно. да и "привязка" к переводу не работает: ваш пример можно перевести как "все это время мы проговорили о математике", и вот он уже перфектив.
то же самое можно сказать и о привязке к time markers, указанной выше. это просто "костыль", который, может, и помогает где-то, но может и мешать. считается, например, что already или yet - это маркер перфектного аспекта, но на самом деле при них часто употребляется и аспект Simple, и даже Progressive.
в вашем примере все, по сути, зависит от контекста, т. е. от того, насколько автору высказывания важен "длительный" аспект данного действия. однозначно форму тут не выбрать, и уж тем более никак нельзя говорить ни о какой "неправильности".

да вообще можно и past continuous, просто паст симпл из-за того что особых меток продолжительности нет, действие просто случилось в прошлом