Richter édesapja az Esterházyak együttesében muzsikált, majd Győrbe költözött, ő alapította és vezényelte a Győri Filharmonikus Zenekar jogelődjét. Felesége, Csazenszky Jozefa operaénekes volt, aki fellépett Wagner Tannhäuser című operájának bécsi premierjén is. Nem csoda, ha fiuk örökölte a zenei tehetséget: ötévesen már az üstdobot püfölte egy zenekarban, hétévesen apja helyett orgonált a misén, kilencévesen édesanyját kísérte zongorán, mindehhez abszolút hallása is volt. A csodagyermek tízévesen lett tagja a híres Bécsi Fiúkórusnak (Wiener Sängerknaben), a császárváros zeneakadémiáján hegedűt, kürtöt, zeneszerzést és vezénylést tanult, mire végzett, a hárfa és az oboa kivételével valamennyi hangszeren játszott. Ennek később jó hasznát vette: ha karmesterként a próbán elégedetlen volt valamelyik szólammal, maga játszotta el, hogy mit szeretne hallani.
Richter karmesterként 1865-ben szülővárosában Mozart Jupiter-szimfóniájával mutatkozott be. A következő évben lett Wagner munkatársa, aki A nürnbergi mesterdalnokok partitúrájának letisztázásához keresett zeneértő embert. A nagy korkülönbség ellenére – a komponista éppen három évtizeddel volt idősebb – a két zenész között barátság is kialakult. Richter Liszt Ferenccel is megismerkedett. Wagner 1867-ben beajánlotta a müncheni Operaházba, ahol Richter előbb Hans von Bülow karmester mellett dolgozott, majd maga is elkezdhetett vezényelni.
Richter 1871-től Pesten dolgozott, a Nemzeti Színházban nagy sikerrel dirigálta a Lohengrint, vezényletével mutatták be Liszt Ferenc Krisztus című oratóriumát, tagja volt a Zeneakadémia felállítását előkészítő bizottságnak. 1875-től a századfordulóig töltötte be a bécsi udvari opera és a Bécsi Filharmonikusok karnagyi tisztét. A zenekar vezetése alatt élte egyik aranykorát, ők mutatták be Brahms és Bruckner szimfóniáit, Dvorák műveit. A Bécsi Filharmonikusok emlékérmet is alapítottak tiszteletére, amellyel elsőként Solti Györgyöt tüntették ki. Az érem első oldala Richter képmását ábrázolja, hátoldalán A Nibelung gyűrűje című Wagner-tetralógia motívumai láthatók.
A Bayreuthi Ünnepi Játékok első évadában Richter dirigálta Wagner Ringjét, a későbbiekben a Zöld-dombon ő vitte sikerre a zeneszerző legjelentősebb műveit. Ünnepelt dirigensként 1877-ben lépett fel először Angliában, ahol az 1890-es évek végén le is telepedett. A szigetországban rendkívüli népszerűségre tettek szert az 1879 és 1897 között évente megrendezett Richter-koncertek, ennek zenészeiből nőtt ki a Londoni Szimfonikus Zenekar. Richter emellett a háromévente megrendezett birminghami zenei fesztivál állandó vezetője és a manchesteri The Hallé zenekar dirigense is volt. Az angol közönséggel ő ismertette meg Dohnányi Ernő és Bartók Béla zeneműveit, 1904-ben Manchesterben ő mutatta be Bartók korai Kossuth-szimfóniáját.
Richtert 1895-ben Oxfordban díszdoktorrá avatták, hasonló megtiszteltetésben külföldiként csak Joseph Haydn részesült, száz évvel korábban. Ő indította el a zeneszerző Edward Elgar karrierjét: bemutatta Enigma-variációit, és Elgar-fesztivált szervezett. Szülőhazájához sem lett hűtlen, az 1890-es évek második felében a budapesti filharmonikusokkal is dolgozott.
Egészségi állapota miatt 1911-ben visszavonult a nyilvános szereplésektől, utoljára Bayreuthban az ünnepi játékokon A nürnbergi mesterdalnokokat dirigálta. 1913-ban díszpolgári címet kapott a bajor várostól, ahol utolsó éveit töltötte, csendes visszavonultságban. Több szélütést követően, 1916. december 5-én halt meg Bayreuthban, ahol Liszt közelében van eltemetve.
A hallatlan munkabírású Richter János több mint 2300 operaelőadáson, kétezer koncerten vezényelt, mindig fejből. Emlékét szülővárosában egyebek mellett a róla elnevezett Zeneművészeti Szakközépiskola, zenekari bérlet, hangverseny- és koncertterem őrzi. 2000-ben megnyílt a Richter Archívum, ahol hagyatékát, a hozzá kapcsolódó zenei emlékeket, dokumentumokat gyűjtik. A Magyar Állami Operaházban 2002 májusában avatták fel emléktábláját.
