Зачем он так делает?( Что мне делать в таких случаях?

Все ответы - бред. Могу поспорить, что вы довольно добрый и мягкий человек. У вас плохо получается отказывать людям, когда они уговаривают вас. Он наоборот не хочет чтобы вы ушли. Он не гордый. Он вам сказал, что его бросали другие девушки, и ему было больно, сделав тоже самое вы тоже сделаете ему больно. Он хочет, заставить вас чувствовать себя виноватой.
Попробуйте в следующий раз отнестись к этому спокойно. Скажи что просто шутишь, и не хочешь его потерять, что тебе не хочется ссориться. Обними его. Можешь даже попробовать сказать, что это ты не права и скажи ему что любишь его. Скорее всего он Почувствует свою значимость, и захочет показать, что при этом он еще мягкий и добрый человек, и может быть вы наконец-то услышите " прости, это я виноват я тоже тебя люблю"

Коли вам "извини я не прав" нужно-попробуйте иные механизмы (отличные от-я уйду...)

Значит, его девушки бросали, обижали. . Поэтому он немного устал и разочарован в отношениях..

чтобы лишить тебя средства манипулирования им, показать что это его не пугает, и что если так случится - ты всеголишь окажешься как и все предыдущие.... а по ним он особо не тоскует, ибо (цитата) "мне не привыкать"

Вот и объясните это ему!! !
Всегда нужно говорить, что Вас заставляет переживать. Так Вы лучше станете понимать друг друга. Спросите его почему он так отвечает. В общем разговаривать Вам надо больше.

Гордый он... а в гордости надо середины держаться

Слаб он просто.. . На жалость давит!..