Хочу уволится и уйти в другое место НО проблема !

ищи работу

ни когда не иди на поводу у критики! а то точно будешь мудаком.

Надо не строить домыслы, а конкретно обращаться к интересующему вас работодателю. Примут, не примут - это другой вопрос. А если вы будете постоянно бояться, что "кто-то кому-то перезвонит", "кто-то кого-то знает", "кто-то что-то расскажет", то у вас выработается рабская психология, и вы постоянно будете малодушничать, а в результате не только не найдете подходящую работу, но и в жизни создадите себе проблемы. Цените прежде всего себя самого и не рассеивайтесь по мелочи, научитесь преподносить себя сами и с лучшей стороны, а не слушайте мнения посторонних. Тогда и ваша самооценка будет выше - вместо робкого упрашивания "примите на работу, умоляю" сможете гордо заявить "не берете - не надо, на вас свет клином не сошелся, найду место и получше". И это действительно так.

По мере того, как Вы будете расти в своей сфере, Вы все больше будете обнаруживать, что все всех знают, каким бы большим ни казался город. Поэтому переживать нечего. Ну получите плохую рекомендацию, и что дальше? Объективно опишите ситуацию вашего ухода на интервью, и если работодатель вменяемый - он сделает правильные выводы.

Если вы сейчас работаете неофициально, то все претензии второго работодателя беспочвенны. Мало ли ЧТО вы делали в первой фирме-в гости к тёте заходили...