Конечно же, слова БУДУ, БЫЛО никакого отношения к наречиям не имеют. Наречия не изменяются, а БУДУ, БЫЛО – это не разные слова, а формы глагола БЫТЬ.
БУДУ – это форма 1-го лица единственного числа будущего времени глагола БЫТЬ. Посмотрите, как изменяется (и изменялся) этот глагол по временам, а в настоящем и будущем временах – по лицам и числам (из форм настоящего времени в современном русском языке употребляется только ЕСТЬ и намного реже СУТЬ – не путать с омонимичным существительным!), а в прошедшем времени – по числам и в единственном числе по родам.
Вот БЫЛО – это как раз одна из форм прошедшего времени, точнее – форма среднего рода единственного числа.
Скриншот части страницы https://ru.wiktionary.org/wiki/быть Викисловаря.
Будут - будущее время
Было - прошедшое
___________
Второсстепенное наречие
глаголы