Велогонщик Сергей Терещенков (1938 — 2006), родившийся в Ольше, вспоминал: «Помню, как к нам входили немцы. Было это в августе месяце. Застрелили в деревне собаку, несколько кур. Потом солдаты жили в нашем доме. А у нас стояла печь-буржуйка, и они попросили её разжечь — готовили терунки, знаете, из картошки делают… И вдруг обнаружили, что нож пропал. Решили, что это мой старший брат стащил. Он укрылся в сарае, и они через дверь в него стреляли, но, слава Богу, не попали… А потом, когда разгребали угли, нашли этот нож, наверное, сами туда и забросили по ошибке. Мать пошла в штаб, что-то там сказала, и этих немцев от нас убрали… А потом, когда мы узнали, что немцы отступают, мы все прятались в лесу, боялись. И действительно, всю деревню при отступлении спалили дотла, так что мы остались без дома».
При отступлении осенью 1943 года немцы сожгли Ольшу и окрестные деревни, но большинство этих населённых пунктов возродилось после войны. После войны в Ольше работали школа, клуб, магазин, а земли вокруг были засеяны. А с шестидесятых годов начинается закат этого края. Молодые люди стали уезжать в города, окончив школу — кто в Смоленск, кто в Оршу, а кто и в Москву, Минск и другие столицы союзных республик.
В 1975 году закрыли школу: в деревне стало слишком мало детей. Школьное здание теперь даже не сохранилось. Пока была работа в сельском хозяйстве, в Ольше оставались люди трудоспособного возраста. Но когда в первой половине девяностых закрылся совхоз, центральная усадьба которого находилась в Лоннице, оставшиеся люди зрелого возраста разъехались, а кто-то приспособился к новым условиям и стал добывать деньги случайными заработками. До 2011 года работал магазин, и то благодаря энтузиазму продавщицы Любови Ивановны. Эта пожилая женщина, пока позволяли силы и здоровье, хотела быть полезной людям. А теперь в Ольшу раз в неделю по пятницам приезжает автолавка. Но приезжает только тогда, когда можно проехать по дороге. В Ольшу ведёт грейдер. В дожди по укатанному песчаному покрытию проехать можно, но зимой дорогу чистят далеко не всегда. И тогда в деревню вы попадёте либо на снегоходе, либо на тракторе. Был раньше в соседней деревне Блашкино дедушка, занимавшийся зимой извозом на подводе, но теперь нет ни этого дедушки, ни его коня…
А на дорогу время от времени выходят аисты и коростели. Дело в том, что птицы на дороге собирают еду — змей (а их тут много!) и лягушек, раздавленных машинами. Ну и зверей в лесу достаточно: есть и мишки, и хрюшки, и лоси, и волки, и всякая другая живность, которая водится на Смоленщине.
Автобусное сообщение с райцентром Красным бывает только по вторникам и субботам. В эти дни автобус приезжает дважды — утром и вечером. А в другие дни добраться без своей машины — проблема. Такие места в Смоленской области называют красивым и ёмким словом «турлы». Турлы — это труднодоступная местность, захолустье. И Ольша, равно как и соседние деревни, вполне подходит под такое определение.
Р133, ведущая к Велижу и Невелю, начинается в Ольше Смоленского района.