Pályájának meghatározó személyisége édesapja, az Erzsébet Királyné Szálloda, majd az István Főherczeg Szálloda tulajdonosaként nevet szerzett Gundel János volt. Károly apja intézményeiben töltötte „inaséveit” pikolóként, majd kenyeresfiúként, 1900-ban végbizonyítványt szerzett a budapesti Kereskedelmi Akadémián. Ezt követően külföldön, svájci, német, angol és francia szállodákban, vendéglőkben szerzett tapasztalatokat, sajátította el a szakma fortélyait. Huszonhárom évesen a Nemzetközi Hálókocsi Társaság tátralomnici telepének szállodai titkára, két év után igazgatója lett.
1910-ben vette át Budapesten az Állatkert tőszomszédságában lévő Wampetics vendéglőt, amelynek nevét hamarosan Gundelra változtatta. Az étterem névadója okos és jól átgondolt üzletpolitikájának, kiváló konyhájának, magas színvonalú szolgáltatásainak köszönhetően fogalommá vált, az újságban így írtak róla: „ egy kicsit fél Budapest a Gundel családhoz tartozik, hiszen ha valaki nemcsak flancból megy el ebédelni vagy vacsorázni, hanem tényleg jól is akar enni, akkor azt szokták mondani: menjünk el a Gundelhez.”
Gundel Károly mindent meg is tett azért, hogy vendégei kellemesen töltsék idejüket: zenészeket és énekeseket szerződtetett, magántársaságok összejövetelei számára a kerthelyiségben elkülönített részeket hozott létre, a társaság „krémjének” külön terasz állt rendelkezésre. Az ízletes ételeket 13 szakács készítette és 52 pincér szolgálta fel, a vendégek kényelméért még 40 alkalmazott dolgozott, a családi hagyomány folytatásaként a tulajdonos 13 gyermeke közül többen is részt vettek a munkában.
A Gundel a két világháború közötti évtizedekben nemzetközi hírnévre tett szert. Amikor 1937-ben Viktor Emánuel olasz király Magyarországra látogatott, a székesfehérvári bankett megrendezésével Gundel Károlyt bízta meg a kormány. Két évvel később a New York-i világkiállítás magyar pavilonjának hivatalos étterme a Gundel volt, s a The New York Times is elismerően írt róla: „A Gundel-vendéglő nagyobb, jobb hírverést biztosít Budapest számára, mint egy hajórakomány turistaprospektus.” A vendéglő a második világháború végén hosszabb zárva tartásra kényszerült, csak 1945 áprilisában nyitotta meg újra kapuit, majd 1949-ben államosították.