Das im klassizistischen Stil errichtete Gebäude wurde bis 1973 als Thermalbad genutzt. Der für Baden charakteristische Bau des Frauenbades wurde aus denkmalpflegerischer Sicht in seiner Substanz nicht verändert. Der Befund des Restaurators ergab eine deutlich reduzierte Farbwahl der Fassadenflächen.
Die Herausforderung der Bauaufgabe bestand darin, im Spannungsfeld zwischen Architektur und Kunst zu agieren. Größtenteils entfernt wurden die in den 1990-er Jahren vorgenommenen Umbauten um die Räume den Anforderungen eines zeitgemäßen Kulturbaues anzupassen, Platz zu schaffen und den gewonnenen Freiraum kompakter zu organisieren.
Um dem Gebäude im Inneren eine ablesbare Struktur zu geben, wurden die eingesetzten Materialien reduziert. Alle Möbel und alle neu geschaffenen betretbaren Ebenen wurden in silbergrauem Eichenholz ausgeführt, einfärbiger Terrazzoboden kommt in allen Räumen zum Einsatz. Glasgeländer ermöglichen einen freien Blick durch die verschiedenen Ausstellungsebenen.
Der Kontrast zwischen den großzügigen Bädern und den zellenartigen Umkleideräumen ist von besonderer Bedeutung. Die historischen Kabanen wurden belassen und ermöglichen dem Betrachter einen konzentrierten Blick auf kleinformatige Arbeiten. Die mit Marmor verkleideten Räume des Karolinen- und des Frauenbades, eignen sich besonders zur Präsentation größerer Werke und Skulpturen.
Alle Licht- und Sicherheitstechnischen Einrichtungen sind in frei tragenden Aluminiumträgen integriert, die Gewölbe der beiden Marmorsäle werden dadurch indirekt erhellt.
Mit der transluzenten Einhüllung der Dachlaterne wurde nach Außen ein Zeichen für die neue Nutzung des historischen Gebäudes gesetzt. Lochbleche in zwei hintereinander liegenden Ebenen angeordnet führen zum Moiré Effekt, durch Bewegung des Betrachters um das Gebäude ergibt sich eine Folge von optischen Mustern. Dieser Gegensatz, zur ständigen Konfrontation mit bewegten Bildern im Stadtraum bei denen der Betrachter still steht wurde gesucht. (Text: l-m-d-architekten)