Marjai József 1923. december 18-án született Budapesten. 1948-ban külügyi szolgálatba lépett: 1953-55-ben a Külügyminisztérium protokollosztályának főnöke, 1955-56-ban a politikai osztály vezetője volt. 1956-tól berni, 1959-től 1963-ig prágai, 1966-tól 1970-ig belgrádi nagykövetként tevékenykedett. 1970-től 1973-ig külügyminiszter-helyettes, majd 1976-ig államtitkár volt, 1976 és 1978 között a moszkvai nagyköveti posztot töltötte be.
1976-tól 1989. október 7-ig az MSZMP Központi Bizottságának tagja volt. 1978-tól két éven át vezette a Minisztertanács Nemzetközi Gazdasági Kapcsolatok Bizottságát, 1985-ig az MSZMP KB gazdaságpolitikai bizottságának tagja volt.
Marjai József 1978 áprilisában lett a Minisztertanács elnökhelyettese, ezt a tisztséget 1988. október 5-ig töltötte be. 1987. december 16-tól 1988 októberéig kereskedelmi miniszterként, majd 1988. augusztus 11-től Németh Miklós akkori miniszterelnök személyes megbízottjaként tevékenykedett.
Marjai József 1988. októberében vonult nyugdíjba.
Ő vezette 1989-90-ben a Budapest–Bécs Világkiállítás tárcaközi előkészítő bizottságát. Több kitüntetés birtokosa volt, egyebek mellett 1988-ban megkapta a Magyar Népköztársaság Érdemrendjét, 2006-ban pedig a Magyar Köztársaság Érdemrend Középkeresztje a Csillaggal (polgári tagozat) kitüntetést.
