Проверьте грамматику: I'm sorry to bother you yesterday.

I'm sorry to have bothered you yesterday.
Если переводить конкретно ваш вариант, то будет: Извини, что я сейчас тебя беспокою / побеспокою. Потому что это форма инфинитива презент индефинит. (употребляется для настоящего и будущего времен)
Но у Вас есть слово "вчера", что означает, что действие уже произошло. Это надо показать в предложении, поставив перфект во второй части, поэтому мы просто ставим перфектную форму инфинитива to sorry и получаем : I'm sorry to have bothered you yesterday