В 1960 году Агеев начал уникальную победную серию, в ходе которой выиграл 34 международных встречи, дважды (1965, 1967) завоевал титул чемпиона Европы и четырежды (1963, 1965—1967) — чемпиона СССР.
Спортивная карьера Агеева оборвалась в 1968 году, когда был исключён из сборной и лишён звание мастера спорта за пьяную драку возле московского ночного кафе. Однако даже этот факт не вразумил талантливого боксёра. Как итог: спустя почти три года Агеев оказался замешан ещё в одном криминальном инциденте, который не позволил ему попасть ещё на одну Олимпиаду – в Мехико. На этот раз Агеев умудрился избить… милиционера. Поскольку про этот случай советские газеты ничего не сообщали, опишу его со слов самого Агеева. Цитирую: «Я в ресторане „Метрополя“ сигареты забыл и хотел вернуться. А в то время в подобные заведения попасть было трудно, пускали не всех. Милиционер увидел, что я сквозь народ ко входу протискиваюсь, вот и решил, что без очереди лезу. И сколько я ему ни втолковывал, в чём дело, он продолжал докапываться… Ну и довёл… Я ответил… Тяжелый случай. У него – переломы, сотрясения…» .
Во время отсидки Агеев умудрился заработать ещё один срок. И опять – по-глупому. Он тогда трудился на Новолипецком тракторном заводе, когда из Москвы пришло сообщение, что у него умер отец. Однако руководство колонии отпускать Агеева на похороны не захотело. Тогда он уехал самовольно. Потом лёг в больницу, чтобы симулировать сотрясение мозга – чтобы снова в тюрьму не попасть. Но следователем, как назло, оказался бывший борец-неудачник. И он раскрутил это дело на всю катушку. Как итог: Агееву дали ещё один срок. Он освободился весной 1975 года, но в Москву вернуться не мог – столичную прописку у него аннулировали.
Тем не менее, благодаря связям, получить заветный штамп в паспорте о проживании в столице в скором времени всё-таки удалось.
После возвращения в Москву Агеев работал тренером. Среди его учеников чемпионы СССР, Европы и Мира.
В конце 80-х Агеев стал одним из инициаторов развития в СССР профессионального бокса и впоследствии был избран президентом Федерации профессионального бокса России, вошёл в руководство Всемирной боксёрской ассоциации (WBA) и Паназиатской боксёрской ассоциации (PABA).
В нескольких городах России работают Школы бокса имени В. П. Агеева.
