Né à Cologne, le 18 Décembre 1906 , Josef Zimmermann est titulaire à la Musikhochschule de sa ville natale.
Élève de Hans Bachem, Dominique Johner et Heinrich Lemacher, il est chef de chœur et organiste à l’église paroissiale, à Esch, puis plus tard à Saint-Étienne de Cologne.
Après 1933 Zimmermann est organiste et chef de chœur de la Basilique Saint-Apôtres, avant d’y être professeur d’orgue à partir de 1945.
Expert en restauration des orgues historiques. Responsable principal d’une classe d’orgue, beaucoup de ses étudiants ont aujourd’hui des fonctions importantes dans la vie musicale de l’Église, tant en Allemagne qu’à l’étranger.
Il déploie une intense activité de concert, reconnu comme un véritable connaisseur de la musique d’orgue française (Dupré, Widor, Vierne, Messiaen ou Langlais…), il se consacre aussi à de nombreuses œuvres oubliées à tort, de Rheinberger, Karg-Elert, Sibelius ou Glazounov… Il crée la quasi-totalité des œuvres pour orgue de Hermann Schroeder en particulier le Prélude et Fugue « Christ lag in Todesbanden » qui lui spécialement dédié .
Le 18 Décembre 1996, il a été nommé membre d’honneur de la Hermann-Schroeder-Société.
Joseph Zimmermann est décédé le 1er Août 1998 à Cologne.