В чем разница между "answer to you" и "answer you"?

Если спросить "ребят", они ответят, как первый ответчик. Как им кажется.
Вообще на такие вопросы легко отвечает словарь:

■ answer to - be responsible or report to (someone)
I answer to the Assistant Commissioner of Specialist Operations
■ answer to - be required to explain or justify oneself to (someone)

И еще так:
answer to
If anything goes wrong you'll have me to answer to — Если что-то будет не так, ты мне за это ответишь/
You'll have to answer to me if any harm comes to this child — Если с ребенком что-нибудь случится, ты мне за это заплатишь.

Если существительное предложения находится ПОСЛЕ "объекта", тогда променяем "to" после answer. А когда до, тогда "to" не ставим. Например:

Can you answer me a question?
Can you answer a question to me?

Разницы нет. Кому как нравится - тот так и произносит. Лично я без "to" предпочитаю говорить. Просто как мне кажется, answer to you говорится, когда нужно подчеркнуть, что именно тебе дает ответ, а не кому-то другому.

ДОПОЛНЕНО:
Почитал на англоязычных форумах, там пишут, что правильно без частицы to говорить.

If you want a response from someone you have asked a question you say answer me

but if you ask them a question and they direct the answer to someone else (or commonly the floor (child)) you might say answer to me, stressing the to.

The first is usual the second rarely crops up, It does though in class, for example.