Im Frühjahr 2004 erfolgte die Erweiterung der zuletzt 1995 ausgebauten Werner-Berg-Galerie zu einem kleinen Museumskomplex. Im hofseitigen Anbau sollen künftig Künstler gezeigt werden, die Werner Bergs Werk begleiten und beeinflusst haben, aber auch Sonderausstellungen sind hier geplant.
Die eingeschossige Ausstellungshalle zwischen der bestehenden Werner-Berg-Galerie und der Stadtmauer aus dem fünfzehnten Jahrhundert ist ein massiver Block. Hinter der Stadtmauer fügen sich die Oberlichter des Zubaues ins Dachgewirr. Erst im Hof zeigt sich die Gestalt des Anbaus. Die Außenwände bestehen aus Betonfertigteilen, deren Oberfläche mit Dolomitschotter belegt wurde. Quasi eine Waschbetonplatte mit Lokalkolorit, denn der Stein stammt vom Bleiburger Hausberg, der Petzen. Den Übergang zum Altbau bildet ein niedriger Würfel mit Betondeckel und drei großen Glasflächen zum Hof. In diesem Bereich formuliert sich gleichzeitig der Übergang von der historischen Bausubstanz zum neuen Baukörper. Hier vermittelt eine geschwungene Holzwand zwischen Altbau, Neubau und Außenraum. Die Ausstellungshalle selbst ist eine geschlossene Box, nur drei Sichtschlitze und sechs Shed’s bilden Öffnungen für Orientierung und Belichtung. Bei Notwendigkeit der völligen Verdunkelung werden Klappläden und Rollos eingesetzt.
Der Hof tritt als ruhig und kontemplativ gestalteter Außenraum in Erscheinung.