Da die KWV das Gebäude nur treuhänderisch verwaltete, erhielt 1992 eine Erbengemeinschaft aus Hessen das Gebäude zurückübertragen. Die Erbengemeinschaft wollte das Grundstück aber nicht selbst verwerten. Deshalb verkauften sie 1993 das Grundstück zum Preis von 233.000 DM an die Mannheimer/Dessauer Baufirma Diringer & Scheidel (D&S).

In der Hoffnung, diese würde das mittlerweile arg geschädigte Baudenkmal zügig sanieren, machte die Stadt Dessau von ihrem Vorkaufsrecht (Denkmalschutzgesetz) keinen Gebrauch. Anfang 1996 reichte die Baufirma jedoch keinen Bauantrag sondern einen Abbruchantrag ein. Begründung: die ermittelten Sanierungskosten von 3.134.000 DM sind wirtschaftlich unzumutbar. Das Eckhaus sollte zusammen mit der angrenzenden Bebauung zugunsten eines neuen Büro- und Geschäftshauskomplexes abgerissen werden.

Die während der Eigentümerschaft der Firma eingetretene zunehmende Verwahrlosung des Hauses infolge völliger Unterlassung notwendiger Reparaturen im Dachbereich und den nicht genutzten Teilen des Hauses belegte, dass der Eigentümer zu keinem Zeitpunkt eine Sanierung des Denkmals beabsichtigte.

Nachdem die Obere Denkmalbehörde des Regierungspräsidiums dem Drängen des Eigentümers in Form einer Abrissgenehmigung nachgab, drohte der Stadt eine Klage wegen Untätigkeit, worauf diese Anfang August 1996 dem Abriss ebenfalls nicht mehr im Wege stehen wollte. Sie schätzte ein, „dass die ermittelten Kosten…..wohl auch einer realistischen Einschätzung…“ entsprechen. (An dieser Stelle sei angemerkt, dass die dargestellten Kosten natürlich völlig überzogen waren. Der Schwabehaus e.V. benötigte zur Sanierung knapp 1 Mio DM weniger!). Über die Erhaltung oder den Abriss des Schwabehauses wurde seit 1996 in der Öffentlichkeit sehr kontrovers diskutiert.