Der Name der kleinen Kunst- und Gartenanlage geht zurück auf den Großindustriellen Hermann Adolph Raoul Clemm (1867-1921). Die Familie Clemm besaß in der Nähe eine Jugendstilvilla mit Gartenensemble.
Die Geschichte des heutigen Clemm´schen Gartens kurzgefasst:
- An der Stelle des heutigen Clemm´schen Gartens befanden sich die Tennisplätze der Clemm´schen Villa.
- Später wurden dies die Tennisplätze des Gernsbacher TC.
- Nach der Platzverlegung wurden die Tennisplätze aufgegeben.
- 1974 entstand an der Stelle des heutigen Clemm´schen Gartens ein Rosarium.
- Anfang der 2000er Jahre sollte dieses Rosarium zu einer Parkierungsfläche umgewandelt werden.
- Auf Initiative von Anwohnern wurden die Parkierungspläne aufgegeben und es entstand im Jahr 2004 der heutige Clemm´sche Garten.