Tóth József szülővárosában, Mosonmagyaróváron kezdte a labdarúgást. Innen került 1969-ben Pécsre, majd 1975-ben a fővárosba, akkori nevén az Újpesti Dózsához, ahol még együtt játszott Bene Ferenccel, Dunai Antallal, Zámbó Sándorral és a többi újpesti kiválósággal, majd persze hosszú éveken át Törőcsik Andrással. Kétszeres magyar bajnok és kupagyőztes a lila-fehérekkel, miközben a válogatottból is hosszú éveken át kihagyhatatlan volt balhátvédként, noha pályafutása elején még balszélsőt játszott.
Részt vett az 1978-as és az 1982-es világbajnokságon, összesen 56-szor szerepelt a válogatottban. Többször, mint Törő...
Pályafutása végén, 1984 és 1986 között az MTK-VM színeiben futballozott az élvonalban, majd a finn IF Kraft csapatában fejezte be a labdarúgó karrierjét. 1986 novemberétől, a finn bajnoki szünet alatt az Erzsébeti SMTK színeiben szerepelt a területi bajnokságban. Később Dorogon edzősködött, majd eltávolodott a sportágtól.
Tóth Józsefet az Újpest FC saját halottjának tekinti.
Borítókép: Kemény, gyors, és szívós játékos volt (Fotó: Nemzeti Sport)