Pierwszy średniowieczny zamek hrabiów Zollern był wspominany w 1267 r., choć prawdopodobnie pochodził z XI wieku. Zdobyty 15 maja 1423 r. przez przymierze szwabskich wolnych miast Rzeszy, po prawie jednorocznym oblężeniu został całkowicie zniszczony.
Nowy zamek wybudowano w 1454 roku; w czasie wojny trzydziestoletniej został przebudowany na twierdzę. W 1634 roku zdobyty przez wojska Wirtembergii został tymczasowo zajęty. Po wojnie był głównie w posiadaniu Habsburgów, zanim został zajęty przez wojska francuskie podczas wojny o sukcesję austriacką w zimie 1744/45 r. Po zakończeniu ostatniej okupacji austriackiej w 1798 r. zamek popadł w ruinę i do początku XIX wieku był ruiną. Zachowała się tylko znaczna część kaplicy św. Michała.
