при переезде в другой город инн менять на новом месте жительства или в том городе, откуда уезжаю?

НЕТ! Индивидуальный налоговый номер дают раз и навсегда.

ИНН присваивается пожизненно! Но при изменение места жительства (регистрации) должна производиться постановка на налоговый учет по новому месту проживания.
При этом (согласно п. 3 ст. 85 НК РФ) тер. орган ФМС, осуществивший Вашу регистрацию по месту жительства, обязан сообщить о факте регистрации в налоговый орган по месту Вашей новой регистрации, а налоговый орган на основании этой информации ОБЯЗАН САМ поставить Вас на налоговый учет (п. 7 ст. 83 НК РФ) .
Вы также можете сами обратиться в налоговую по новому месту жительства с Заявлением о постановке Вас на налоговый учет в ЭТОМ органе и тогда они сами запросят все данные и Ваше учетное дело со старого места жительства.
Во всех случаях налоговая ДОЛЖНА направить Вам Уведомление о снятии Вас учета (по старому месту жительства) и о постановке на учет (по новому месту жительства) , но почти никогда этого НЕ делает.

Если для вас это САМЫЙ ГЛАВНЫЙ, НЕОБХОДИМЫЙ ДОКУМЕНТ, то.... Ну, вот ...что за народ???? ИНН вам присвоен пожизненно и менять его не надо. Что за шумиха вокруг этого ИНН???

В новом городе в ИФНС по месту прописки вы пройдете перерегистрацию. Номер останется прежним, но вас внесут в списки по новому месту жительства, дабы присылать уведомления на налоги и проч. Даже если в одном и том же городе вы переезжаете из района в район в ИФНС нужно проходить перерегистрацию и получать новое свидетельство.

Ничего не надо менять