Richter édesapja az Esterházyak együttesében muzsikált, majd Győrbe költözött, ő alapította és vezényelte a Győri Filharmonikus Zenekar jogelődjét. Felesége, Csazenszky Jozefa operaénekes volt, aki fellépett Wagner Tannhäuser című operájának bécsi premierjén is. Nem csoda, ha fiuk örökölte a zenei tehetséget: ötévesen már az üstdobot püfölte egy zenekarban, hétévesen apja helyett orgonált a misén, kilencévesen édesanyját kísérte zongorán, mindehhez abszolút hallása is volt. A csodagyermek tízévesen lett tagja a híres Bécsi Fiúkórusnak (Wiener Sängerknaben), a császárváros zeneakadémiáján hegedűt, kürtöt, zeneszerzést és vezénylést tanult, mire végzett, a hárfa és az oboa kivételével valamennyi hangszeren játszott. Ennek később jó hasznát vette: ha karmesterként a próbán elégedetlen volt valamelyik szólammal, maga játszotta el, hogy mit szeretne hallani.
Richter karmesterként 1865-ben szülővárosában Mozart Jupiter-szimfóniájával mutatkozott be. A következő évben lett Wagner munkatársa, aki A nürnbergi mesterdalnokok partitúrájának letisztázásához keresett zeneértő embert. A nagy korkülönbség ellenére – a komponista éppen három évtizeddel volt idősebb – a két zenész között barátság is kialakult. Richter Liszt Ferenccel is megismerkedett. Wagner 1867-ben beajánlotta a müncheni Operaházba, ahol Richter előbb Hans von Bülow karmester mellett dolgozott, majd maga is elkezdhetett vezényelni.
Richter 1871-től Pesten dolgozott, a Nemzeti Színházban nagy sikerrel dirigálta a Lohengrint, vezényletével mutatták be Liszt Ferenc Krisztus című oratóriumát, tagja volt a Zeneakadémia felállítását előkészítő bizottságnak. 1875-től a századfordulóig töltötte be a bécsi udvari opera és a Bécsi Filharmonikusok karnagyi tisztét. A zenekar vezetése alatt élte egyik aranykorát, ők mutatták be Brahms és Bruckner szimfóniáit, Dvorák műveit. A Bécsi Filharmonikusok emlékérmet is alapítottak tiszteletére, amellyel elsőként Solti Györgyöt tüntették ki. Az érem első oldala Richter képmását ábrázolja, hátoldalán A Nibelung gyűrűje című Wagner-tetralógia motívumai láthatók.