Tzv. Berkovský zámeček, si v roce 1596 nechal vystavěl Adam Berka z Dubé v prostoru dvora na severní straně skály. Jednalo se jednoduchou budovu se zděným přízemím a hrázděným patrem, která byla obklopena zahradou a hospodářskými budovami. V roce 1733 zámeček zapálil blesk, po opravě do něj byli přestěhováni panští úředníci a šlechta se přestěhovala do nově budovaného sídla ve vsi. V roce 1793 zámeček jeho tehdejší majitelé, rod Kinských, prodali slavné sochařské rodině Maxů. Po 2. světové válce začala budova postupně chátrat a v roce 1959 byla zbořena. Z celého areálu starého zámku se do současnosti dochovaly pouze zpola zasypané brány v sousedství parkoviště pod skálou.