Как надо писать какая страна самая большая по размерам или по размеру

Территориально.

Размеру пиши, будет правильно.

Дательный падеж КОМУ? ЧЕМУ? -размерУ

Так как территория страны плоская, то имеет два независимых размера – протяжённость с севера на юг и с запада на восток. Поэтому более правильно с математической точки зрения говорить “по размерам”. А с точки зрения грамотности, можно и так, и так.