Kárpáti József 1930. május 4-én született Újpesten. 1948-tól volt hallgatója a Liszt Ferenc Zeneművészeti Főiskola egyházzenei és orgona tanszakának, ahol többek között Gergely Ferenc, Pécsi Sebestyén, Bárdos Lajos, Harmat Artúr, Kodály Zoltán és Járdányi Pál voltak a tanárai. Főiskolai évei alatt részt vett Vaszy Viktor karmesterképző mesteriskoláján.
1957-ben szerzett orgonaművész-tanári oklevelet, és ugyanabban az évben orgonaosztályt szervezett a fővárosi II. kerületi, a jelenlegi Járdányi Pál Zeneiskolában. Itt 48 éven keresztül vezette az orgona tanszakot, s 1968‒74-ig a zeneiskola igazgatóhelyettese is volt. Számos tanítványa végzett orgonaművészként a Zeneművészeti Főiskolán; közülük sokan szereztek hazai és nemzetközi hírnevet is. 1992-től haláláig a Liszt Ferenc Zeneművészeti Egyetem Egyházzenei Tanszékén is tanított orgonajátékot.
1949-től vezetett egyházi és világi énekkarokat, melyek sok fesztiválon, versenyen, egyéb rendezvényeken szerepeltek sikerrel. Több budapesti templom zenei életének volt a vezetője; az 1960‒70-es években a budapest-zuglói Páduai Szent Antal-templom karnagyaként működött, 1986-tól haláláig pedig a budapesti Batthyány téri Szent Anna-plébániatemplom orgonaművésze, karnagya és egyházzenei igazgatója volt.
Kárpáti József rendszeresen koncertezett Magyarországon és Európa szinte valamennyi országában. Orgonatervezői munkássága is elismerést hozott számára. 2000-ben orgonaművészi, tanári és egyházzenei tevékenységéért a Köztársasági Érdemrend Lovagkeresztje kitüntetést kapta.
Temetéséről később intézkednek.
