Die im 19. Jahrhundert umgebauten Reste der Bischofsburg aus dem 14. Jahrhundert und die um 1850 errichtete und später häufig umgebaute Brauerei, Mälzerei und sogar Margarinefabrik, wurden nach teilweiser Kriegszerstörung als Kaufhaus und schließlich von 1947 bis 1990 als Lager- und Verwaltungsräume des Staatlichen Großhandels der DDR genutzt.

Im Oktober 1992 wurde der Fabrik-Bischofsburg-Komplex der Stadt Fürstenwalde übereignet.

Die Idee der Nutzung als zukünftiges Kulturzentrum, wurde von dem Fürstenwalder Bildhauer und Keramiker Friedrich Stachat geboren und in die Öffentlichkeit getragen. Der Fürstenwalder Kulturverein engagierte sich für den Ausbau und die Stadtverordnetenversammlung bekannte sich zu diesem denkmalgeschützten Ensemble als unsere Kulturfabrik. Anfangs nur vom Fürstenwalder Kulturverein in nur wenigen nutzbaren Räumen betrieben, gründeten vier sozial und kulturell tätige Vereine mit Unterstützung der Stadt eine gemeinnützige GmbH.