Сведения об Олеском замке появляются начиная с 1327 года, когда на галицко – волынский княжеский престол пригласили Юрия Львовича, сына князя Тройдена и княжны Марии. Этот период в нашей истории ознаменован разрушительными набегами на Русь врагами, внутренними раздорами среди княжеств и утратой прежней мощи и величия. Все это дало возможность врагам почти безнаказанно громить и грабить русские земли. В этот период предположительно и был заложен Олесский замок.
Месторасположение замка рядом с границами Литвы и Польши предрекло его судьбу, быть постоянным трофеем в борьбе между этими государствами. Замком в 1340 году владел литовский князь Любарт, потом его отвоевал Казимир Великий, польский король, которого сменяет на престоле его племянник Людовик и передает замок во владение князю Опольскому. В 1375 году замок переходит во владение епископу Галицкому, потому что местное население не соглашается с этим фактом и организовывает бунт, но через 3 года в замке снова хозяйничают венгерские войска вплоть до смерти короля Людовика. После этого замок снова принадлежит Любарту, который заплатил за него выкуп. Вот сколько раз за совсем короткий отрезок времени замок менял своих хозяев. Но на этом его злоключения не закончились. После объединения Литвы и Польши в одно государство под правлением литовского князя Ягайла, который стал королем объединенных земель, замок переходит к его брату князю Свидригайлу. Между братьями возникает ссора, бояре поддерживаю Свидрыгайла и первую половины XIV века замок недоступен для поляков. Даже поход на крепость под командованием князя Казимир Мазовецкого результата не принес, замок устоял.
В 1431 году между Ягайлом и Сви-дригайлом был заключен мирный договор, согласно которому Олеский замок добровольно отдали Свидрыгаллу вместе с документами на владение. Но мирный договор продержался всего несколько дней до того времени, как было совершено нападение тогдашними владельцами замка на владения польского судьи. Польский король не смог стерпеть такой наглости, и после довольно продолжительной осады, замок пал под напором войск польского короля а впоследствии был навечно отдан Яну Сенна, потомки которого и стали в будущем Олесскими.
Конец XV — начало XVI ст. - для Олесского замка период многочисленных набегов татар, во время которых жители окрестных сел прятались за его могучими стенами, но не всегда удачно. Замок разрушали захватчики, он снова отстраивался . Последний набег татарской орды на Олесский замок датируется 1519 годом, оправившись от которого, замок снова зажил полной жизнью, был укреплен, и стал торговым центром.
