Как мне понять, что в фразах типа i am scared - не пассив, а прилагательное?

Вы правильно предположили, что за описание состояния ответственно прилагательное. И словари, естественно, дают это слово, в первую очередь, как прилагательное, потому что само по себе (отдельно от контекста) это слово является прилагательным. Если же вы будете смотреть в словаре слово scare, то среди прочих употребимых форм вы найдете "be scared" как "passive form". Соответственно, слово scared имеет обе формы - пассивный глагол и прилагательное. Я бы посоветовала вам обращать внимание на предлог, следующий за словом:
1. если предлога нет - то это простое прилагательное.
2. если "i am scared OF..." - прилагательное (я боюсь чего-либо, кого-либо) .
3. если "i am scared BY..." - глагол (я напуган чем-то, кем-то) .
4. если "i am scared INTO doing something" - фразовый глагол (меня заставили сделать что-то)
и т. д.

чего вы мучаетесь, это же почти по русски, Рамир написал правильно.

Это, конечно, прилагательное. Конечно, посмотреть в словаре модели употребления - в каком грамматическом окружении употребляется. Конечно, исходно scared глагольная форма, причастие, но если она настолько отделилась от глагола, что ее записали отдельно в словаре, значит, есть разница между причастием и прилагательным - по функции, если не по форме.
Именная часть составного именного сказуемого, выраженная прилагательным, для сравнения: I'm hungry. I'm pretty/cool/persevering/scared.
И не давайте сбить себя с толку. Вы уже знаете, что это прилагательное. А то что мы тут истину большинством голосов устанавливаем.

по предложному управлению
пассив подразумевает дополнение с предлогами by или with.
scared допускает только дополнение с предлогом of, как и другие прилагательные: to be scared of, to be afraid of, to be fond of
вот почему scared прилагательное.

А почему не пассив, если SCARED (или AFRAID, или FRIGHTENED) Другое дело - I FEAR.
Овладевание языком (и родным! ) - метод проб и ошибок. Считайте так, ока не убедите-СЯ в обратном...

am форма to be - глагол связка.

Это прилагательное. Как понять? - Посмотреть в словаре.

В данном случае это и есть причастие.
Вот если употребить атрибутивно, тогда другое дело:
a scared child, a suspended punishment.
И так в общем со всеми прилагательными, совпадающими по форме с причастием.
В любом случае, на смысл это совершенно не влияет, а вопрос этот - чисто технический, вернее терминологический.

Одно из определений причастия которое мне кстати очень нравится это: глагол в функции прилагательного. Пишущий, написанный, испуганный - вообще-то это конечно глагол но он как прилагательное отвечает на вопрос Какой?

Во фразах (скорее конструкциях) этого типа прилагательные отсутствуют; scared - это не прилагательное, а то самое причастие 2 (повторяя ваше написание) .

Не "или причастие 2, или -ed", а причастие 2 - это и есть то, что заканчивается на -ed (при условии правильности глагола, от которого оно образуется) .

За описание состояния "ответственно" не прилагательное, а причастие; прилагательные описывают качества предметов и явлений.

i am scared = Я ЕСТЬ ИСПУГАННЫЙ.
I scared him = я испугал его