ким образом кодируется растровое и векторное изображение в графическом файле?

каким угодно, зависит от знаний и целей автора формата. Напрмер, растр может преобразовываться в спектральную область, прореживаться там. Вектор тоже может храниться как сжатый довольно хитрым образом.