Первое упоминание о Гольшанах относится к 13 столетию. Как повествует «Хроника Быховца»: «Четвёртый брат великого князя Наримунта, Гольша, перешёл реку Вилию и нашёл гору красивую, окружённую великими равнинами и наполненную богатствами, и создал на ней город над рекою Кораблём, и назвал его своим именем - Гольшаны». Здесь и был заложен деревянный замок. Случилось это примерно в 1280 г.

До 1525 г. замок принадлежал князьям Гольшанским, но род по мужской линии вымер, а последняя его представительница, Елена, связала себя узами брака с одним из Сапегов . Так замок сменил хозяев.
Это новый владелец, Павел Стефан Сапега, около 1610 г. в нескольких км от старого деревянного замка, на берегу р. Лусты (Жиганки), возвёл новый, кирпичный замок, руины которого и дошли до наших дней.
Но замок и теперь принято называть Гольшанским, по месту расположения.
Гольшанский замок был сильно повреждён шведами во время Северной войны 1700-1721 гг. Позже в мирное время, 80-х гг. 19 в, по приказу последнего хозяина, русского помещика Горбанёва, его башни и стены подрывались, а кирпич пускали на строительство корчмы.
Тем не менее, до начала Второй мировой замок оставался жилым. И фотоснимки начала 20 в. ещё запечатлили его нормальное состояние. Он снова пострадал во время двух последних войн, а затем его положение усугубили, разбирая на молочную ферму.