Почему, если я говорю что-то, чтобы специально его позлить, он принимает это всерьез и на самом деле злится?

Может потому что он серьезный человек и не хочет, чтобы над ним издевались, в некоторой степени. Потому что так не делается. Может он не хочет тебя терять..