Pályájának meghatározó személyisége édesapja, az Erzsébet Királyné Szálloda, majd az István Főherczeg Szálloda tulajdonosaként nevet szerzett Gundel János volt. Károly apja intézményeiben töltötte „inaséveit” pikolóként, majd kenyeresfiúként, 1900-ban végbizonyítványt szerzett a budapesti Kereskedelmi Akadémián. Ezt követően külföldön, svájci, német, angol és francia szállodákban, vendéglőkben szerzett tapasztalatokat, sajátította el a szakma fortélyait. Huszonhárom évesen a Nemzetközi Hálókocsi Társaság tátralomnici telepének szállodai titkára, két év után igazgatója lett.
1910-ben vette át Budapesten az Állatkert tőszomszédságában lévő Wampetics vendéglőt, amelynek nevét hamarosan Gundelra változtatta. Az étterem névadója okos és jól átgondolt üzletpolitikájának, kiváló konyhájának, magas színvonalú szolgáltatásainak köszönhetően fogalommá vált, az újságban így írtak róla: „ egy kicsit fél Budapest a Gundel családhoz tartozik, hiszen ha valaki nemcsak flancból megy el ebédelni vagy vacsorázni, hanem tényleg jól is akar enni, akkor azt szokták mondani: menjünk el a Gundelhez.”
Gundel Károly mindent meg is tett azért, hogy vendégei kellemesen töltsék idejüket: zenészeket és énekeseket szerződtetett, magántársaságok összejövetelei számára a kerthelyiségben elkülönített részeket hozott létre, a társaság „krémjének” külön terasz állt rendelkezésre. Az ízletes ételeket 13 szakács készítette és 52 pincér szolgálta fel, a vendégek kényelméért még 40 alkalmazott dolgozott, a családi hagyomány folytatásaként a tulajdonos 13 gyermeke közül többen is részt vettek a munkában.
A Gundel a két világháború közötti évtizedekben nemzetközi hírnévre tett szert. Amikor 1937-ben Viktor Emánuel olasz király Magyarországra látogatott, a székesfehérvári bankett megrendezésével Gundel Károlyt bízta meg a kormány. Két évvel később a New York-i világkiállítás magyar pavilonjának hivatalos étterme a Gundel volt, s a The New York Times is elismerően írt róla: „A Gundel-vendéglő nagyobb, jobb hírverést biztosít Budapest számára, mint egy hajórakomány turistaprospektus.” A vendéglő a második világháború végén hosszabb zárva tartásra kényszerült, csak 1945 áprilisában nyitotta meg újra kapuit, majd 1949-ben államosították.
Gundel Károly a városligeti vendéglőn kívül 1920 és 1926 között a Royal Szálló, 1927-től 1948-ig a Gellért Szálló éttermeit is bérelte. Édesapjához hasonlóan aktív közéleti tevékenységet is folytatott, tagja volt az Idegenforgalmi Szövetség elnöki tanácsának, nagy szerepet játszott a Szállodások és Vendéglősök Ipartestülete működésében, amelynek tiszteletbeli elnöke és örökös tagja is lett. 1928-ban tevékenységéért az Országos Iparegyesület aranyérmével tüntették ki.
A magyar vendéglátást, a magyar konyhát gasztronómiai tárgyú írásaival, könyveivel is népszerűsítette. Legfontosabb művei közé tartozik a szakmai tapasztalatait összegző A vendéglátás művészete és A vendéglátás mestersége, valamint a magyarok étkezési szokásait megörökítő A magyar konyha fejlődése és a magyar szakácskönyv-irodalom a XVIII. század végéig című munkája. Kis magyar szakácskönyvét több nyelvre is lefordították, s több mint 30 kiadást ért meg. Tanácsaival segítette Karinthy Frigyes Vendéget látni, vendégnek lenni című könyvét is.
Vendéglője étlapján a hagyományos magyar és a francia ételek mellett szerepeltek saját, méltán világhírűvé vált kreációi is, mint a Fogas Gundel módra, a Gundel tokány, a Borjúborda Gundel módra, a Gellért, a Liget vagy éppen a Gundel nevet viselő saláta. Receptjeinek csúcsa minden bizonnyal a „palacsinták királyának” is nevezett ételkölteménye, a Gundel palacsinta, a cukrozott narancshéjjal, mazsolával és tejszínnel dúsított diótöltelékkel, tejszínes csokoládéöntettel tálalt desszert.
Gundel Károly 1956. november 28-án hunyt el Budapesten. Gyermekei közül többen is a vendéglátás területén tűntek ki, unokái közül a színész Latinovits Zoltán és Bujtor István, valamint a zenész Frenreisz Károly lett hivatásának ismert és elismert képviselője.
