Wzniesiony został na półwyspie jeziora Grodziskiego, na rzucie kwadratu o boku 50 m. Otaczały go wysokie na 15 m mury zwieńczone krenelażem. W narożniku murów stała wysoka, 30-metrowa wieża do 1/3 wysokości graniasta powyżej cylindryczna. Dojazd do zamku prowadził przez podzamcze oddzielone od niego głęboką fosą przecinającą półwysep. Usytuowana w murze zachodnim brama wzmocniona była budynkiem bramnym. Około roku 1600 skrzydło wschodnie zostało podwyższone o jedną kondygnację. Zapoczątkowało to wzrost znaczenia funkcji mieszkalnych zamku względem jego funkcji obronnych. W 1648 r. Swobnica została przejęta przez margrabiów z rodu von Hohenzollern z Schwedt. Na początku XVIII w. przystąpili oni do przebudowy zamku. Zburzono skrzydła północne i południowe. Wzniesione na ich miejsce nowe budynki nadały zamkowi wygląd barokowego pałacu. Zburzono także zachodni odcinek muru wraz z budynkiem bramnym. W wieku XIX w murach zewnętrznych  wybito otwory okienne, a przed dziedzińcem wzniesiono mur oporowy oraz wykonano podjazd do zamku. Ogromne koszty utrzymania zamku spowodowały, że jego dotychczasowi właściciele Hohenzollernowie opuścili go na początku XX wieku. Zniszczony podczas II wojny światowej, pozostawiony bez opieki zaczął popadać w ruinę. Od 1992 r. do listopada 2011 r. zamek pozostawał w rękach prywatnych. Obecnie jest własnością gminy Banie.