Не согласен с первым ответом. Во всяком случае он не полный.
Fit употребляется когда ты хочешь сказать что тебе это не идет в плане размера. А когда тебе не нравится внешний вид, то обычно употребляют suit, поэтому если Вам не идет по размеру, то
It doesn't fit me. Если же Вам не нравится внешний вид, то правильно сказать it doesn't suit me.
It doesn't become me.
Become (verb, no passive, no continuous) - If something becomes someone, it makes them look attractive or it seems right for them.
- Does khaki become you?...
- Don't be crude tonight, Bernard, it doesn't become you.
Фильм такой был, Death Becomes Her, Смерть ей к лицу) )
Если не идет конкретно цвет, можно сказать pink is not my colour.
it doesn't fit me
it's not becoming to me