Pierwotny zamek zbudowano około 1200 roku. Hausmannsturm (donżon-najstarszy stojący obecnie element zamku)został zbudowany na początku XV wieku. Od 1468 do 1480 roku donżon został rozbudowany, kiedy po przeniesieniu stolicy z Miśni zamek stał się główną siedzibą książąt, a następnie królów Saksonii,przez mistrza budowlanego Arnolda von Westfalen , stając się zamkniętą budowlą czteroskrzydłową. W połowie XVI wieku dobudowano dobudowę w stylu renesansowym.
Po wielkim pożarze w 1701 roku August II Mocny przebudował znaczną część zamku w stylu barokowym. W skrzydle zachodnim utworzono wówczas pomieszczenia kolekcji dostępne obecnie jako muzeum
Dzisiejszy kształt pochodzi z przebudowy w połowie obecnego stulecia