Mengyelejev 1834. február 8-án született Tobolszkban a helyi gimnázium igazgatójának tizenhetedik (és tizennegyedik életben maradt) gyermekeként. Tizenhárom éves volt, amikor apja meghalt, a nélkülöző család Moszkvába költözött. Itt nem jutott be az egyetemre, Pétervárott végezte el a tanárképző főiskolát. 1859-ben állami ösztöndíjjal Heidelbergbe küldték, itt a német Robert Wilhelm Bunsennel dolgozott. 1864-ben a műegyetem kémiaprofesszora, majd a Szentpétervári Egyetem általános kémiai tanszékének vezetője lett. A kémikus meghökkentő kísérletekre is vállalkozott: léghajóval 1887-ben egyedül emelkedett a magasba, hogy lefényképezzen egy napfogyatkozást, s bár a jármű kezeléséről semmit sem tudott, biztonságban ért földet.
Magánélete kezdetben nem volt szerencsés: 1863-ban egyik nővére tanácsára vette feleségül Feozva Lescsevát. Két gyermekük született, majd különváltak. Később a művészetet tanuló diáklányt, Anna Ivanova Popovát ismerte meg, a lány szülei azonban ellenezték a házasságot, és Rómába küldték. Mengyelejev utána ment, és azzal fenyegetőzött, ha elutasítja, öngyilkos lesz. A tengerbe ugrás helyett összeházasodtak és négy gyermekük született.
A második házassággal az volt a baj, hogy az első feleségétől való válását egy hónappal később mondták ki. Az orosz ortodox egyház szerint akkoriban hét évnek kellett volna eltelnie két nász között. A kémikus többször került összeütközésbe a cári rendszerrel. Ennek következményeként 1880-ban nem választották meg az akadémia rendes tagjává, 1890-ben a diákság egyik petíciójának támogatása miatt nyugdíjazták; többé nem kapott tudományos beosztást.
1868–70 között írta klasszikus művét, A kémia alapjait. Korának legjobb orosz nyelvű kémiakönyve került ki a kezei közül, amelynek különlegessége, hogy a mű felét a lábjegyzetek foglalják el. A könyv írása közben azon töprengett, miként lehetne az elemeket valamiféle logikus sorrendben bemutatni. Előtte is próbálkoztak ezzel, sikertelenül. Az orosz kémikus a kémiai elemek atomtömegei közötti kapcsolatokat vizsgálva szabályszerűséget vett észre: ha az elemeket növekvő atomtömeg szerint sorba rakjuk, a táblázat a fizikai-kémiai jellemzők periodikusságát mutatja.