Karmesteri karrierje 1958-ban kezdődött a német Südwestfunk Orchestra élén, nemzetközileg azután lett elismert dirigens, hogy Széll György meghívta a Clevelandi Szimfonikusokhoz. Később a zenekar állandó vendégkarmestere lett, volt a BBC Szimfonikusok és a New York-i Filharmonikusok zenei igazgatója – ez utóbbi poszton Leonard Bernsteint követte –, rendszeresen vezényelte a chicagói és a bécsi Filharmonikusokat.
Vezénylési stílusa egyszerű és világos volt, minden teatralitást nélkülöző apró mozdulatai kizárólag a zenekarnak és a zenéről szóltak, pálcát nem is használt. Elsősorban a 20. századi mesterek – Berg, Schönberg, Sztravinszkij – előadásával vált híressé, de repertoárja Mozarttól Ligeti Györgyig terjedt.
Őt tekintették Bartók Béla egyik legihletettebb tolmácsolójának, és ő mutatta be Franciaországban Alban Berg Wozzeck című operáját. Több alkalommal vezényelt Magyarországon is, egyebek közt a Budapesti Tavaszi Fesztivál keretében. A szaksajtóban „zenei sztálinistának” is nevezték (a múlt század zenéjében fordulópontnak tekintett, 1955-ös Gazdátlan kalapács című művének premierje előtt 50 próbát tartott a zenekarnak), ugyanakkor a vele dolgozó muzsikusok áradoztak kedvességéről.
Bár egykor az operaházak felégetését javasolta, legendásak voltak operainterpretációi, különösen Richard Wagner Ring-tetralógiájának értelmezése, amelyet Patrice Chéreau rendezővel 1976-ban valósított meg a Bayreuthi Ünnepi Játékokon.
Azt vallotta, hogy „a zene legalább annyira tudomány, mint művészet”, célja a zenei anyag racionális elrendezése volt. Komponistaként a folytonos kísérletezés jellemezte, szeriális korszaka után a hatvanas években a véletlen zenei alkalmazása felé fordult. A nézeteit összegző Alea című cikke nyomán terjedt el az aleatória kifejezés – az alea latinul kockát jelent, és a cím utalás Stéphane Mallarmé Kockavetés című versére –, foglalkoztatta az elektronikus zene is. Mallarmé versei ihlették Pli selon pli, Paul Klee képei Termékeny föld című zeneművét, a svájci képzőművészről könyvet is írt. Az idős művész nagy álma volt, hogy operát írjon Samuel Beckett Godot-ra várva című darabjából.
