Bereits im 13. Jahrhundert wird eine Burganlage in Holdenstedt urkundlich erwähnt. Sie wurde Ende des 16. Jahrhunderts abgerissen und durch einen Neubau ersetzt, der jedoch während des Dreißigjährigen Krieges so stark beschädigt wurde, dass ab 1700 ein weiterer Neubau erfolgen musste. Die ursprünglich barocke Fassade wurde in der Folge noch zweimal verändert. Im Jahre 1983 erwarb die Stadt Uelzen das Schloss und stellte es für kulturelle Zwecke zur Verfügung. Seit 1985 wird es als Heimatmuseum und Konzertsaal genutzt.
Im Ovalen Saal finden Kursunterricht und Abendvorspiele statt.