V době, kdy se zde narodila a žila kněžna Ludmila, byl zámek obýván vdovami českých králů a knížat. Teprve za vlády císaře Karla IV. se město stává věnným majetkem českých královen

Jeho poslední manželka dala přestavět zámeckou kapli v gotický styl. Jako poslední zde žily manželky Jiřího z Poděbrad. Poté byl hrad. obýván různými šlechtickými rody.

V roce 1542 byl hrad přestavěn v renesanční zámek a nechalo se přistavět severní křídlo s věží a arkádami, které jsou bohatě zdobeny sgrafity. Během třicetileté války zámek velmi zpustnul a v roce 1646 byl zastavěn hraběti z rodu Černínů. Ten potom koupil panství od císaře Leopolda I. Poslední dědička z rodu Černínů Marie Ludmila se v roce 1753 provdala za Augusta Antona Lobkowicze. Rodina Lobkowiczů vlastnila zámek až do příchodu komunistů.