Скажите, I am scared - это пассивный залог? Если да, то почему фразы вроде

I am scared - это страдательный залог. А почему Вы считаете, что перечисленные фразы должны строиться аналогичным образом? Совсем это не обязательно. Эти фразы - всего лишь русский эквивалент английских конструкций. Но их также можно перевести и дословно, напр. : Я напуган, Я мерзну. Тут разница в лексической сочетаемостии фразеологии этих двух языков.
мне страшно - I'm scared/I'm frightened etc.
мне холодно - I'm cold/I'm freezing
мне весело - I'm enjoying myself/I'm having a good (great) time/I'm having fun
мне больно - I'm hurting/It hurts/I'm in pain

Мне кажется, I am scared можно истолковать двояко.
Это можно понимать и как Passive Voice (scared = participle 2 от глагола to scare - пугать) .
Но в то же время есть прилагательное scared - испуганный. Тогда это обычное выражение типа I am cold,
Какой из этих двух вариантов толкования считается у филологов правильным, не знаю, и полагаю, что такими тонкостями грамматики не стоит забивать голову. На самом деле для изучающих английский язык это не имеет никакого значения. Важнее помнить и правильно использовать ту или иную конструкцию, не особо вникая, к какой грамматической категории она относится. То есть, без основ грамматики, конечно, не обойтись, но тонкости лучше оставить специалистам.
PS Кстати, вполне возможно, что разные школы филологов и сейчас трактуют этот вопрос по-разному.

Да потому что пассивный залог обозначает действие, а "мне холодно", "мне страшно" - это состояния. Я ж вам уже ответила!
P.S. мне больно - I'm in pain

ОТВЕТ ВНИМАТЕЛЬНЕЕ ЧИТАЙТЕ!