Berlini építészcsaládból származott, apja és nagyapja példáját követve ő maga is az építészetet választotta hivatásául. Diplomájának megszerzése után, 1908-ban Peter Behrens cégénél helyezkedett el, munkatársa volt többek között Ludwig Mies van der Rohe és Le Corbusier is. 1910-ben Adolf Meyerrel nyitott önálló irodát, első sikerük az alsó-szászországi Fagus Werk racionális, egyszerű vonalakból, nagy üvegfelületekből álló ipari épülete lett. Gropius ma már az UNESCO világörökségi listáján szereplő alkotása teljesen új formarendet alkotott, amely máig sem veszett frissességéből.
A történelmi építészet formavilágát, az ipari környezetre is ráerőltetett palotahomlokzatok, íves ablakzáródások elemeit elsőként cserélte racionális, tiszta, egyszerű egyenes vonalakra, összefüggő, nagy üvegfelületeket alkalmazott, ezáltal az épület külső-belső megjelenése összhangba került az ipari termelés racionalizmusával. Ennél az épületnél fordult meg a homlokzati anyagok aránya: a modern anyagok, üveg, könnyű mellvédek váltak uralkodóvá, a tömör falazat pedig díszítőelemként, új funkcióban jelentkezett.
Gropius magánéletét alaposan felforgatta az első világháború kitörése és a zeneszerző Gustav Mahler özvegyével, Almával való kapcsolata. A független, vonzó és a művészetekben jártas Alma férje halála után rövid ideig a képzőművész Oskar Kokoschka karjaiban vigasztalódott, majd az egyre terhesebbé váló szerelmi kapcsolatból Gropiushoz menekült. 1915-ben, a katonai szolgálatát teljesítő Gropius egyik eltávozásán keltek egybe, s 1916-ban született meg lányuk, Manon Gropius. (Manon alig 18 évesen halt meg gyermekbénulásban, az ő emlékére írta hegedűversenyét Alban Berg.) Miközben Gropius a fronton harcolt, felesége az író Franz Werfel iránt gyulladt szerelemre, akivel nyíltan együtt élt s 1918-ban fiút is szült tőle. A házasságtörés kitudódása után Gropius elvált, magánélete végül 1923-ban rendeződött, amikor Ise Frankot vette feleségül, aki élete végéig társa maradt.
Gropius 1919-ben Weimarban igazgatóként Bauhaus néven egyesítette és átalakította az iparművészeti és a képzőművészeti iskolát, valamint a képzőművészeti akadémiát. Az általa létrehozott intézmény megszüntette az építészet, a képzőművészet és a technika szétválását, megvalósítva az összművészet, a Gesamtkunstwerk gyakorlatát. Elsődleges célja a historizmus minden ágazatának megszüntetése volt a célszerűség, a tárgyiasság és a világos kifejezésmód javára, ezért a Bauhaus növendékeinek az első évben egy kézműves szakmát kellett elsajátítaniuk, csak azután következett a művészképzés. Gropius később az orosz konstruktivisták és a francia építész Le Corbusier alkotásaival szembesülve átszervezte az iskolát, majd a nagyobb anyagi támogatás reményében Dessauba költöztette. A Bauhausban olyan művésztársakkal tanított együtt, mint Moholy-Nagy László, Oskar Schlemmer és Vaszilij Kandinszkij.