Чем have been to отличается от have been in?

I have been in London подразумевается, что он в Лондоне уже какое-то время, и находится всё ещё там. Сообщая это, говорящий находится в Лондоне. Обычно при этом указывается период.
I have been in London for 2 weeks // for a year.
I have been to London. - Я был (бывал) в Лондоне. Опыт к настоящему моменту. Был в своей жизни, неважно, когда. Сообщая это, говорящий находится в другом городе.
С Past Simple предлога TO быть не может. Именно предлог может служить Вам подсказкой если, например, вы выполняете упражнение, в котором глагол в скобках нужно поставить в нужное время.
I (to be) IN London. - I WAS in London.
I (to be) TO London. - I HAVE BEEN to London.
I (to be) IN London FOR 3 months.. -I HAVE BEEN in London FOR 3 months.

И ещё один интересный момент. Если мы, например, с вами сейчас ...ну, скажем, в Индии, то тогда Я вас спрошу "Have you been in India before?" Если буду задавать такой же вопрос, но уже не находясь на территории той страны, о которой спрашиваю, то уже предлог to будет.

а что "have been to" бывает??

I have been to Africa before.
I have been in school for this week. (в школе как в учебном заведении)

А что, "have been in" бывает?

have been to - был, уже вернулся. have been in - всё ещё там. I have been to Rome this year. I have been in this building for a while now. Но противопоставляется обычно been to-gone to, а тут хз.