It is very strange. He behaved very strangely. Когда нужно писать с ly а когда без?

Когда есть глагол, кроме глагола to be.

Вполне могут сказать strange. Почитай про глаголы-связки.
Глаголы-связки
Глаголы, указывающие, чем или каким является подлежащее, выражающие существование некоторого качества, либо состояние, характерное для подлежащего (be, feel, smell, taste, go, lie, look, seem, make, mean, stand, stay…); глаголы, обозначающие сохранение состояния и качества субъекта (remain, continue, hold, keep, rest…); глаголы, обозначающие изменение состояния или качества (become, come, fall, get, go, grow, make, turn…).
Их объектом является существительное или прилагательное, но не наречие.
Для проверки, является ли глагол связкой, следует заменить его на глагол to be. Если предложение сохраняет основной смысл, это – глагол-связка.
The meal grew cold (is cold). Еда остыла. The plant grew fast (action). Цветок быстро рос. The T-shirt looked dirty (was dirty). Футболка выглядела грязной. She looked at him angrily (action). Она сердито смотрела на него. Rita seems happy (is happy). Рита выглядит счастливой. Spencer was our captain. Спенсер был нашим капитаном. The cake tastes delicious (is delicious). У торта великолепный вкус. She tasted the cake (action). Она попробовала пирог. He became blind at the age of four (was blind). Он ослеп в возрасте четырёх лет. He was a clever guy. Он был умным парнем. It sounds nice (is nice). Звучит прекрасно. He stayed silent (was silent). Он оставался молчащим. The house is painted every spring. Дом красят каждую весну. (действие. Страдательный залог). The house is painted blue. (is blue – состояние. Глагол-связка).
Могут иметь вспомогательные глаголы: can, may, should, will, have, might…
Практика использования прилагательного наряду с причастием нередко распространяется и на другие глаголы. He behaved strange. (He was strange).
Ещё классический пример:
Love me tender, love me sweet
Never let me go...

Не is very strange. Он очень (КАКОЙ?) странный -->прилагательное
He behaved very strangely. Он вёл себя (КАК?) странно. -->наречие.

Не is very strange. Он очень страннЫЙ (прилагательное)
He behaved very strangely. Он вёл себя очень странНО (наречие).