Может быть такое? Уменьшаю размеры файла, вес увеличивается.

Да, при сохранении, например, в jpeg с более высоким показателем качества (меньшим сжатием). Или в tiff без компрессии.

Вес снимка зависит не только от его линейных размеров, но и от того, какие команды и эффекты к нему применялись. Пример:
Открой фото в Фотошопе, нарисуй на нем пару линий и сохрани под новым именем.
Затем вернись к первоначальному фото, примени пару сложных фильтров и сохрани под новым именем.
Ты увидишь, что во втором случае вес существенно увеличился. Почему? В первом случае в файл добавилась информация о воздействии кисти на небольшую часть изображения, а во втором - в файл добавилась довольно объемная информация о воздействии фильтров на все пикселы изображения.

В твоем случае ты применил команду Изменить размер изображения, причем непропорционально (а это сложнее для программы). Информация о пересчете добавилась в файл, вот его размер и немного увеличился.

Если не менять формат и качество, то не может

Может.

действительно вопрос туманный. Формат файла неизвестен, размер понятие неоднозначное. Поэтому могу предложить просто возможные варианты. Если речь о картинке, то вес может увеличиться : 1. при увеличении разрешения 2.при улучшении качества сжатия. Старайтесь писать вопросы поконкретнее.

Чем уменьшаешь? Какой файл?
Если архиватором, то существует несколько вариантов:
Если это текст - то, конечно же не может быть такого.
Если картинка - то да, так и будет, в связи с тем, что картинка - это и так упакованный контейнер информации. И обработка архиватором приведет к увеличению размера файла из-за наличия области, для восстановления поврежденного архива.
То же самое касается и видео, аудио файлов.

Если нужно уменьшить вес фотографии, то можно воспользоваться фоторедактором на русском Домашняя фотостудия. http://foto-editor.su/kak-umenshit-ves-fotografii.php