Zwei Jahre nach der Schließung des Konzentrationslagers Osthofen im Juli 1934 wurden Gebäude und Grundstück der Papierfabrik Osthofen AG zwangsversteigert und gelangten in den Besitz der Eheleute Bühner. Am 1. Januar 1936 nahm dort die Firma Hildebrand & Bühner GmbH Möbelfabrik ihre Produktion auf - bis hin zu ihrer Schließung im Jahr 1976.

In den darauffolgenden Jahren wurde das Gebäude unter anderem als Weinlager und Abstellhalle einer Plastikrecycling-Firma genutzt. Die Bausubstanz verfiel immer mehr, nichts erinnerte mehr an die Funktion des Gebäudes als Konzentrationslager. 

Bereits im Juni 1961 hatten zwei ehemalige Häftlinge aus Bürstadt zu einem Treffen „ehemals im Konzentrationslager Osthofen inhaftierter Kameraden und Kameradinnen“ aufgerufen. Das Treffen fand dann am 18. Juni 1961 in Weinheim an der Bergstraße statt. 1972 schloss sich eine Gruppe ehemaliger Häftlinge mit Unterstützung der Vereinigung der Verfolgten des Naziregimes/Bund der Antifaschistinnen und Antifaschisten (VVN-BdA) zu einer Lagergemeinschaft zusammen.

Erster Vorsitzender war Karl Schreiber aus Bickenbach. Im Gründungsaufruf hieß es: „Liebe Kameraden! Am 1. März 1972 haben wir, die Erstunterzeichner dieses Aufrufes, eine Lagergemeinschaft der ehemaligen Häftlinge des KZ Osthofen ins Leben gerufen. […] Ziel und Aufgabe unserer Lagergemeinschaft soll es sein, das Andenken an dieses Lager, das von den Nationalsozialisten als eines der ersten in Deutschland errichtet worden ist, zu wahren. Heute weitgehend vergessen, erhielt es nur durch Anna Seghers’ weltberühmten Roman ‚Das siebte Kreuz’ ein bleibendes geistiges Denkmal. Darüber hinaus ist es unsere Absicht, von diesem ehemaligen Lager aus, dessen Mauern heute noch stehen, unsere Bevölkerung zu mahnen, dass sich niemals mehr das vergangene Unrecht des nazistischen Machtapparates in diesem Teil unseres Vaterlandes wiederholen darf…“ Hierdurch wurde das KZ Osthofen zum ersten Mal wieder in das Gedächtnis der Öffentlichkeit gerückt. 

Mit einer Kundgebung, die anlässlich des 25. Jahrestages der Gründung der VVN-BdA Kreis Darmstadt am 27. Mai 1972 vor dem Gebäude des früheren Konzentrationslagers stattfand, wollten die ehemaligen Häftlinge daran erinnern, was dort geschehen war. Eine Delegation deutscher und französischer Widerstandskämpfer hatte zuvor in der Carlo-Mierendorff-Straße in Osthofen den ehemaligen Reichstagsabgeordneten der SPD und bekanntesten Häftling des KZ Osthofen durch eine Kranzniederlegung geehrt. Die Initiative stieß jedoch auf Widerstand, vor allem bei der Bevölkerung vor Ort. 

Am 27. April 1977 beantragte die Lagergemeinschaft beim Stadtrat der Stadt Osthofen die „Erstellung einer Mahn- und Gedenkstätte für die Opfer des Nazismus […] in unmittelbarer Nähe des ehemaligen KZ Lagers, dem heutigen Fabrikgelände der Firma Hildebrand & Bühner.“ Die Gedenkstätte selbst sollte in städtische Obhut genommen werden. 
Nach langem Ringen mit dem damaligen Besitzer des Gebäudes wurde der Lagergemeinschaft 1978 erlaubt, eine Gedenktafel anzubringen. Die 50 mal 50 Zentimeter große Bronzetafel durfte an der Außenmauer, für Passanten kaum einsehbar, angebracht werden und wurde am 18. November 1978 enthüllt. Sie trägt folgende Inschrift: 

„HIER WAR 1933-35 
DAS HESSISCHE 
KZ-LAGER OSTHOFEN 
NIEMALS WIEDER! 
LAGERGEMEINSCHAFT 
EHEMALIGER INSASSEN“ 

Im darauffolgenden Jahr erschien im Röderberg-Verlag in Frankfurt unter dem Titel „Osthofen. Materialien zur Geschichte eines fast vergessenen Konzentrationslagers“ eine erste umfassende Dokumentation zur Lagergeschichte. Verfasst wurde sie von dem ehemaligen Buchenwald-Häftling Paul Grünewald. Der Autor konnte sich dabei auf die umfangreichen Recherchen des damaligen Vorsitzenden der Lagergemeinschaft, Karl Schreiber, stützen.