A zenei avantgárd egyik vezető személyisége a Loire menti Montbrison városában született egy acélgyáros fiaként. Már kisgyerekként különös érdeklődést és tehetséget mutatott a matematika és a zene iránt, iskolái mellett zongoraórákat vett.

Lyonban folytatott matematikai, mérnöki és zenei tanulmányait követően a párizsi konzervatóriumban tanult zeneszerzést, vezénylést és zeneelméletet. A múlt század egyik legnagyobb hatású zeneszerzéstanára, Olivier Messiaen növendékeként megismerkedett a tizenkét hangra épülő dodekafóniával és a szeriális zenével, amely a zeneművet számsorok segítségével előre meghatározott hangok kiválasztott sorára építi.
Huszonkét évesen egy újonnan alapított párizsi színházi társulat zenei vezetője lett, és az is maradt csaknem egy évtizedig. Első művei, a fuvolára és zongorára írt Szonatina, valamint az 1. zongoraszonáta az 1940-es évek közepén születtek.
A fiatal Boulez szélsőséges nézeteket vallott, a múlt eltörlésére, az operaházak felégetésére, a Mona Lisa elpusztítására szólított fel.
Nem azért jöttünk a világra, hogy csak nézzük és elfogadjuk
– mondta. Idővel higgadtabb lett, de a véleménye nem sokat változott, csak rájött arra, hogy mérsékeltebb módszerekkel nagyobb hatást érhet el. 1946-ban indította útjára a Petit-Marigny-koncerteket, majd az ötvenes évek első felétől szervezte a modern zene megszólaltatására szakosodott Domaine musical (zenei tér) előadásokat, amelyeken maga is vezényelt. Zeneelméletet és zeneszerzést tanított Darmstadtban és Bázelben, később az amerikai Harvard Egyetemen is, nagy hatást gyakorolva zeneszerzők nemzedékeinek egész sorára. Zenepedagógiai munkássága mellett zeneelméleti műveket is jegyzett.
Párizsba 1970-ben tért vissza, amikor Georges Pompidou elnök személyesen kérte fel egy elektronikus zenével foglalkozó intézet, az IRCAM megalapítására.
Az intézet keretében hozta létre az Ensemble InterContemporain nevű zenekart, amely a kortárs zene nemzetközi hírű műhelyévé fejlődött, művészeti igazgatója 1979 és 1991 között Eötvös Péter volt.
Karmesteri karrierje 1958-ban kezdődött a német Südwestfunk Orchestra élén, nemzetközileg azután lett elismert dirigens, hogy Széll György meghívta a Clevelandi Szimfonikusokhoz. Később a zenekar állandó vendégkarmestere lett, volt a BBC Szimfonikusok és a New York-i Filharmonikusok zenei igazgatója – ez utóbbi poszton Leonard Bernsteint követte –, rendszeresen vezényelte a chicagói és a bécsi Filharmonikusokat. Dirigensként egyszerűségre és világosságra törekedett, minden teatralitást nélkülöző apró mozdulatai kizárólag a zenekarnak és a zenéről szóltak. Elsősorban a XX. századi mesterek – Berg, Schönberg, Sztravinszkij – előadásával vált híressé, de repertoárja Mozarttól Ligeti Györgyig terjedt.
Őt tekintették Bartók Béla egyik legihletettebb tolmácsolójának.
1963-ban vezényelt először operát, Alban Berg Wozzeckjét Párizsban, és 1979-ben ő dirigált Berg „teljes”, Friedrich Cerha osztrák zeneszerző által befejezett Lulu című operájának világpremierjén, szintén a francia fővárosban. Több alkalommal vezényelt Magyarországon is.