Pierre Cochereau choisit la musique après ses études secondaires et une année de droit. Après avoir commencé l’orgue avec Marie Louise Girod, et travaillé ensuite avec André Fleury, il entre au Conservatoire de Paris où il reçoit l’enseignement de Marcel Dupré, Maurice Duruflé et Noël Gallon. Il y obtient les premiers prix d’orgue, d’harmonie, d’écriture et d’histoire de la musique. Dès 1942, il est titulaire de l’orgue de Saint-Roch et devient en 1955 titulaire des grandes orgues de la Cathédrale Notre-Dame de Paris.
Il fera de cette tribune parmi les plus célèbres, un lieu d’accueil pour les organistes du monde entier auxquels il cédera ses claviers tous les dimanches après-midi pour des auditions d’une heure au cours desquelles tous les styles d’œuvres pour orgue auront droit de cité. Ces concerts remarquablement présentés par Jehan Revert, maître de chapelle de Notre-Dame, seront à sa demande systématiquement enregistrés, ce qui fait de ces archives un témoignage inestimable du « jeu » organistique aux xxe et xxie siècles. Il faisait preuve pour le répertoire propre à cet instrument d’un remarquable éclectisme, admettant lors de ces auditions les œuvres les plus modernes à son époque d’Arvo Pärt à Iannis Xenakis, en passant par des compositeurs sous-estimés tels Georges Delerue qui lui écrivit (et pour Roger Delmotte) une Sonate pour trompette et orgue.
Au long des trente années qu’auront duré son titulariat, Pierre Cochereau aura eu à cœur d’entretenir puis de relever « son » orgue, chef-d’œuvre (1868) du facteur Aristide Cavaillé-Coll. À cette fin, il fera d’abord appel à Jean Hermann puis, à la mort de celui-ci, à Robert Boisseau et Jean-Loup Boisseau. Sous son égide, puis celle de ses successeurs, ceux-ci (auxquels il convient d’associer Bertrand Cattiaux) feront de cet instrument d’exception ce qu’il est aujourd’hui. Mais comme il fallait s’y attendre, les avis seront très partagés quant aux adjonctions qu’il « subit » dans les années 1960-1970 et son complet relevage ultérieur (impliquant entre autres son électrification et sa réharmonisation, impliquant donc la disparition à peu près complète du chef-d’œuvre de Cavaillé-Coll).
Contrairement à la plupart de ses collègues de l’époque, Pierre Cochereau était, avec les Souberbielle, Jean-Albert Villard et quelques autres organistes un peu plus jeunes, tels Michel Chapuis, Francis Chapelet ou encore Xavier Darasse pour ne citer que les plus emblématiques, très compétent en matière de facture d’orgue, qu’elle soit orientée vers un retour à la « tradition » ou empreinte de modernité, et le travail manuel ne lui était pas étranger, pas plus que ne lui étaient étrangères les compétences en matière d’administration.
Il est aussi directeur du Conservatoire du Mans de 1949 à 1956, de celui de Nice de 1961 à 1979 et est enfin chargé de créer ex nihilo à Lyon, à côté du CNR, le second Conservatoire national supérieur de musique en France, dont il restera le directeur jusqu’à sa mort en 1984. En plus d’être un grand organiste aux interprétations à la fois brillantes et respectueuses de la tradition du répertoire d’orgue classique, romantique et contemporain, il est particulièrement réputé pour ses dons exceptionnels d’improvisateur.
Pierre Cochereau fut, beaucoup plus simplement, un « organiste d’église » aussi présent à sa tribune que sa carrière de concertiste et de pédagogue le lui permettait. Sa connaissance approfondie du chant grégorien et plus généralement de la musique liturgique faisait de ses interventions au cours des offices, soit en accompagnant soit en improvisant, d’inoubliables moments de musique.
Pierre Cochereau fut le premier à sortir « physiquement » l’orgue de ses lieux de prédilection, en faisant des tournées accompagné le plus souvent de son ami trompettiste Roger Delmotte, avec son orgue « itinérant » à tuyaux, d’une dizaine de jeux qu’il transportait dans une remorque attelée à l’une de ses toujours somptueuses automobiles.
Pierre Cochereau fut aussi avec Pierre Firmin-Didot cofondateur du Grand Prix de Chartres, concours d’orgue de renommée internationale, qui eut pour originalité d’instituer à côté du traditionnel prix d’interprétation, un tout aussi important prix d’improvisation.
Même si tout un chacun prétend être son « fils spirituel », Pierre Cochereau est injustement oublié de nos jours. Son œuvre musicale écrite est de qualité mais peu abondante. Il laisse en revanche, sur des centaines de bandes Revox bien conservées, une immense quantité d’improvisations (et aussi, mais en moins grand nombre, d’œuvres du répertoire) enregistrées au cours des offices et en concert à Notre-Dame. L’écoute analytique de la somme de ces enregistrements effectués sur une période allant globalement de 1965 à sa mort et réalisés avec talent et fidèle assiduité par François Carbou devrait permettre de comprendre et d’apprécier la réalité de cet artiste unique et, malgré les honneurs de son vivant, mystérieusement atypique et particulièrement flamboyant.
Pierre Cochereau est décédé d’une rupture d’anévrisme dans la nuit du 5 au 6 mars 1984 à Lyon, à l’âge de 59 ans. Il avait eu avec sa femme Nicole deux enfants qui sont aussi devenus musiciens : Jean-Marc, chef d’orchestre et directeur du Conservatoire à rayonnement régional de Tours, et Marie-Pierre, harpiste.