Bis 1573 hatte der Amtmann des Amtes Harzburg seinen Sitz auf der Harzburg. Die Tätigkeit des Amtmannes, dem Rechtsprechung und Verwaltung oblag, war seit dem 16. Jahrhundert vielseitiger geworden. Es lag nahe, den Amtssitz in die Nähe des Herzoglichen Gutshofes in Bündheim zu legen. Herzog Julius von Braunschweig-Wolfenbüttel (1568-1589) verfügte den Beginn eines Neubaus, der 1573 unter dem Amtmann Simon Thomas fertig gestellt wurde.
Der dreißigjährige Krieg verschonte auch das Amt Harzburg nicht. 1626 zerstörten Wallensteinsche Soldaten den gesamten Amtsbezirk und richteten eine ungeheure Verwüstung an. Dem fiel auch das erste Amtshaus zum Opfer. Herzog August ließ aus den Resten und mit den Steinen der 1650 abgerissenen Harzburg ein neues Amtshaus bauen. Dieses neue Haus hatte aber im Dach einen gravierenden Konstruktionsfehler. 1685 ließ es der Herzog deshalb niederreißen und erneut aufbauen.
Dieses dritte Amtshaus gibt es noch heute. Umgebaut und modernisiert dient es jetzt - vor allem der sogenannte Rittersaal - kulturellen Veranstaltungen und herausragenden und repräsentativen Festlichkeiten als Refugium.