Трагические события 1812 года принесли городу разрушения и упадок. Дело в том, что владелец Несвижского замка Доминик Радзивилл перешел на сторону французов. Отступая с армией Наполеона, Доминик Радзивил приказал своему эконому вывезти скровища из города, но тот до прихода русских войск не успел этого сделать, а потому был вынужден взорвать тоннель, который вел в скарбец, где хранились радзивиловские богатства. Фамильные сокровища Радзивиллов удалось спрятать, а это 60 пудов драгоценностей (так же известных 12 золотых апостолов в человеческий рост украшенных драгоценными камнями. По преданию князь со своей свитой мог проиграть за один вечер одну такую фигуру. Но всегда потом ее выкупал) . Остальное было вывезено русскими войсками - это богатая библиотека, драгоценности и пушки. Часть их попала в императорский Эрмитаж.
Огромная художественная коллекция Радзивиллов в 1939 году была вывезена из Несвижского замка. По частям ее раздали: картины – музеям, мебель и костюмы – театрам и домам культуры, рыцарские доспехи и оружие – киностудии.
Известно, что во время Второй мировой войны немцы проводили здесь раскопки в поисках 12 золотых статуй. С металлоискателями. Но - тоже безрезультатно. Однако коллекция из 256 произведений искусства была вывезена в Германию. После вернулась лишь ее небольшая часть, и еще 50 картин – в качестве гуманитарного дара – были переданы Польской народной республике в качестве дара.
Золото Радзивиллов продолжает и сегодня будоражить умы многих.
«Черные» археологи до сих пор не теряют надежды отыскать «клад Радзивиллов» .
Правда, теперь, по словам помощника министра культуры Сергей Вечер, их поисками могут заниматься только специалисты, поскольку самодеятельные кладоискатели и так достаточно повредили катакомбы Несвижского замка. Искать клады в сооружениях, которые являются памятниками архитектуры, можно только со специальной археологической лицензией. Пару лет назад в Несвижском замке проводились масштабные исследования его подземелий, но 12 апостолов там не обнаружили. Вполне возможно, что они находятся вовсе не под замком. Еще по одной версии, 12 апостолов спрятаны в подземном тоннеле между Несвижем и Миром протяженностью 35 км, в котором якобы могли разъехаться две кареты. Однако ученые выражают сомнение в существовании такого хода, поскольку на пути в Несвиж есть тектонический разлом, преодоление которого невозможно.