Может ли посторонний человек использовать мою банковскую карту, зная её номер, паспортные данные, телефон?

Может, потом придется доказывать суду, что Вы ее не активировали и не тратили деньги.
Если банк не нарушает закон, то работник банка при активации, спрашивает девичью фамилию Вашей матери или еще другие вопросы.

Можно и без телефона и паспортных данных, если оплата в магазине и на кассе не попросят паспорт

В некоторых магазинах достаточно только номера карты, срока действия и имя/фамилия.
В других ещё код cvv2 нужен. В третьих ещё и подтверждение одноразовым паролем или по мобильнику.
Так что может, никому её не показывайте!

Может. Прижел с легкостью. Так как при оплате банковской кортой в магазинах продовцы не удоставеряются в законности ее правообладателя.