A háború alatt, 1944-ben született Budapesten a repülőgép-tervező Rubik Ernő fiaként. A találékony szellemet apai ágon öröklő fiú a Budapesti Műszaki Egyetemen végzett építészmérnökként 1967-ben, majd az Iparművészeti Főiskolán belsőépítészetet tanult 1971-ig. Ezután építész-tervezőként dolgozott, 1970 és 1988 között az Iparművészeti Főiskolán (a mai Moholy-Nagy Művészeti Egyetemen) tanított.
1974 tavaszán oktatási segédeszközként tervezte meg a térbeli mozgások szemléltetésére alkalmas, mérnöki modellezést segítő szerkezetét, amelyről később kiderült, hogy játéknak is igen szórakoztató. 1975-ben rukkolt elő a bűvös kockával, amelyre 1976. október 28-án RU–158 ügyszámon, „térbeli logikai játék” néven kapott szabadalmat. A kocka a játékosok körében rövid idő alatt példátlan népszerűségre tett szert, gyártásához és külföldi terjesztéséhez azonban át kellett verekednie magát a hazai bürokrácia útvesztőin, míg végül Rubik-kocka néven meghódította az egész világot. Népszerűsége négy évtized után sem csökkent, kihívást jelent játékosok és matematikusok számára egyaránt. Míg az előbbiek a kockakirakási rekordokat (jelenleg 5,55 másodperc, nézze meg a videón) döntögetik – a lassúsági csúcs 26 év –, az utóbbiak a kirakási lépések minimális számát keresve igyekeznek megfejteni a titkát.
1980–81-ben több országban volt az év játéka, később klubokat, egyesületeket, versenyeket és világbajnokságokat szerveztek rajongóinak. 1981-ben a kocka bevonult a New York-i Modern Művészetek Múzeumának építészeti és dizájngyűjteményébe. Tervezője a tanítás mellett 1982–83-ban főszerkesztőként jegyezte az És játék című lapot, 1983-ban megalapította, és azóta is vezeti a játéktervezésre specializálódott Rubik Stúdiót. A kocka után újabbnál újabb logikai játékokkal jelentkezett, 1977-ben alkotta meg a Kígyót, 1985-ben a Bűvös négyzetet, majd a Bűvös dominót és a Rubik-órát, 2009-ben a Rubik’s 360-at, vagyis a Rubik-gömböt. Ezek nem érték el az időközben kultusztárggyá vált kocka sikerét, de számos országban kedvelt logikai játékok.
Rubik Ernő 1982-ben innovációs és ösztöndíj-alapítványt, 1988-ban pedig Rubik Nemzetközi Alapítványt hozott létre kiemelkedő teljesítményt nyújtó diákok támogatására. 1987-től címzetes egyetemi tanár, 1990–1996 között a Magyar Mérnök Akadémia elnöke, 1996-tól tiszteletbeli elnöke. Munkásságát számos kitüntetéssel ismerték el, 1983-ban Állami Díjat kapott, 1995-ben életművéért, innovációs tevékenységéért Gábor Dénes-díjjal, 2007-ben Kossuth-díjjal tüntették ki. 2008-ban Moholy-Nagy-díjat, 2009-ben Esztergomban díszpolgári címet, Magyar Örökség-díjat kapott, valamint a Magyar Köztársasági Érdemrend középkeresztje a csillaggal kitüntetést vehetett át. 2010-ben Prima Primissima Díjjal, 2012-ben Hazám díjjal és az Amerikai Magyar Alapítvány George Washington-díjával ismerték el, 2014-ben Budapest díszpolgára lett.
A kocka sikere lehetővé tette számára, hogy csakis azt csinálja, amit szeret, ugyanakkor hatalmas lekötöttséggel járt, így a rendszeres tanítást abbahagyta, jelenleg csak a stúdióbeli munkájával, szoftver- és építészeti témákkal, számítógépes játék témákkal foglalkozik. „Az a lényeg, hogy amivel foglalkozom, abban örömömet leljem” – mondta egy interjúban. Egy másikban pedig így vallott: „Nem én vagyok itt a fontos, hanem a kocka. Sőt, még csak nem is a kocka, hanem a hatása: hogy miként tudott ennyi emberre és ilyen sokáig hatni, hogyan tudott évtizedeken át, miközben a világ óriásit fordult, ugyanúgy népszerű lenni az új generációk számára is.”
Bűvös kockája a nehezen megoldható, bonyolult problémák kezelésének jelképévé vált, kirakása „csüggesztő feladatnak tűnik, de a kitartás, a töretlen összpontosítás és a kreativitás meghozza gyümölcsét”. A kocka számos magyar és külföldi filmben jelent meg az egyes szereplők magas intelligenciájának bizonyítására, képzőművészeti alkotásokat ihletett meg, magazinok címlapfotójaként szerepelt. A magyar találékonyság szimbólumát ábrázoló térplasztika áll az óbudai Graphisoft parkban is. 2014-ben a magyar kormány nemzetközi építészeti tervpályázatot írt ki a magyar szellem szimbólumának is tekinthető találmány által inspirált Kreativitás-központ létrehozására a budapesti Rákóczi híd budai hídfőjénél.
A kocka születésének 40. évfordulója alkalmából idén áprilisban az egyesült államokbeli Jersey Cityben, a Liberty Science Centerben Rubik-vándorkiállítás indult útjára, amely a tervek szerint hét év alatt – Budapestet is érintve – körbejárja a Földet. A Beyond Rubik’s Cube (Túl a Rubik-kockán) című kiállítás a műszaki tudományok, a művészet és a dizájn területeinek összekapcsolásával, interaktív és digitális attrakciók sorával reprezentálja a kockában testet öltött kreatív gondolkodást. Itthon a magyar kreativitás napjának megtartásával ünnepelték az évfordulót, az augusztusi Sziget fesztivál pedig kiemelt kocka-programsorozattal várja az érdeklődőket.