Im August 1943 erfolgte die Aufstellung der IV. SS-Baubrigade, eine von insgesamt fünf SS-Baubrigaden. Diese mobilen Kommandos der Konzentrationslager wurden im Wesentlichen zu Bau- und Aufräumungsarbeiten sowie zur Bergung von Leichen in den zerstörten Städten nach alliierten Bombenangriffen eingesetzt.
Nach dem Einsatz der IV. SS-Baubrigade in Wuppertal, im KZ Außenlager Königshöher Weg fand deren Verlegung im Mai 1944 nach Ellrich statt und richtete hier mit 1.200 Häftlingen in der Gaststätte Bürgergarten in der Spiegelstraße am Schwanenteich ein Außenkommando ein.
Die im Lager Ellrich-Stadt, also die im Bürgergarten untergebrachten Häftlinge wurden mitten in der Stadt Nordhausen zum Bau eines Wasserspeichers eingesetzt, führten aber auch Schachtarbeiten an Bohrstellen in der Aue bei Ellrich aus. Konkret hieß es aber für die Häftlinge kräftezehrender Arbeitseinsatz beim Bau der Helmetalbahn.
Entgegen der Befehle führte SS-Untersturmführer Erich Scholz die IV. SS-Baubrigade im April 1945, ca. sechs Kilometer westlich Harzgerode den Amerikanern zu. Dadurch wurde die Auflösung der Baubrigade, nicht wie bei anderen SS-Baubrigaden, zu einem Todesmarsch und er rettet diesen Häftlingen das Leben.