КАое время использовать? __ you (find) your pen? Yes, I ___. I (find) it last Tuesday. Past SImple или Present Perfect ?

По-моему, ваши рассуждения абсолютно верные. (Однако, мнение авторов теста может отличаться. )

Если мы вот так, без контекста берем, то, на первый взгляд, действительно
Have you found your pen? - Ты нашел свою ручку - Perfect
Yes, I have. - Да, нашел - Perfect
I found it last Tuesday - Я нашел ее в прошлый четверг - Simple

Но если мы представим, что беседа происходит в контексте и спрашивающий задает вопрос имея в виду момент времени в прошлом, о котором знает и отвечающий:
Did you find your pen? - Ты (тогда) нашел свою ручку
Yes, I did - Да, нашел
I found it last Tuesday - Я нашел ее в прошлый четверг
Но в это случае последнее уточнение выглядит лишним. Поэтому, я за первый вариант.

Have you found your pen?---Yes, I found it last Tuesday

Ирина, Вы правильно рассуждаете. В вопросе подразумевается результат, в ответе констатируется факт: Have you found your pen? (=Он у вас уже есть? ) - Yes, I have. I found it ( а не потерял снова) last Tuesday (а не в прошлый понедельник).

Раз стоит указание на время, то это Past Simple.
Did you find your pen? Yes, I found it last Tuesday.

Как насчёт разговорной не знаю, но по грамматике всегда учат в какой форме вопрос, в такой будет и ответ. В ответе стоит указание на время в прошлом, законченное действие.

Present Perfect был бы возможен, если бы было указание this Tuesday, но неделя ещё не закончена, продолжается.

Past Simple, есть показатель времени last Tuesday, т. е действие совершилось в истекшем отрезке времени.
Did you find your pen? Yes, I did. I found it last Tuesday.
Однако американцы предпочитают всегда использовать перфект.