Van Gaal nem volt nemzedékének legjobb játékosa, és ugyan húszévesen az akkor világverő, Johan Cruyff-féle Ajax második csapatában is megfordult, a csúcsot a Sparta Rotterdam középpályáján eltöltött hosszú évek jelentették számára. Magas, erős védekező középpályásként már játékos-pályafutása során vezéregyéniség volt, aki egyben tartotta a csapatot, és ha kellett, hangos szavakkal irányította társait.
A nyolcvanas évek végén, rögtön a visszavonulása után az Alkmaar Zaanstreek másodedzője lett, ahonnan az Ajax kispadjára került. Előbb Leo Beenhakker segédje volt, majd 1991-ben megnyílt előtte a lehetőség, és a legsikeresebb holland klub vezetőedzője lett. Az Ajaxnál töltött hat éve talán edzői karrierje legfényesebb időszaka volt: zsinórban három bajnoki címet ünnepelhetett, az 1994–95-ös szezonban ráadásul úgy nyerte meg a Bajnokok Ligáját, hogy egész idényben veretlen maradt.
Van Gaal játékfilozófiája a Hollandiában Rinus Michels által kialakított és a hetvenes évek világhírű holland válogatottjának, illetve a BEK-győztes Ajaxnak a sikereit hozó totális futballból ered. A sok futáson, a még több passzoláson, a posztok felcserélhetőségén és a szélső játékosok kiemelt szerepén alapuló játékot viszont ő tökéletesítette.
Arról megoszlanak a vélemények, hogy mennyiben tekinthető még a klasszikus totális foci iskolájának a Van Gaal-féle szédületes Ajax, ugyanis az eredeti koncepció esetében kötöttebbek voltak a játékosok pozíciói, ám az alapgondolat végigkísérte a tréner egész karrierjét. Gyerekként és fiatal labdarúgóként a totális futball legfényesebb korszakával szembesült nap mint nap, a rendszert pedig apró finomhangolásokkal fejlesztette tovább a kilencvenes években.
„Vagyok, aki vagyok. Magabiztos, arrogáns, domináns, őszinte, szorgalmas és innovatív” – mondta magáról egyszer Van Gaal a rá jellemző stílusban.
Ebben a tömény mondatban benne van személyiségének összes ellentmondása, hiszen újító szemlélete valóban a csúcsra repítette az Ajaxot, a Barcelonát vagy épp a Bayern Münchent, de ez a fajta öntudatosság sok ember szemét szúrta – legfőképp az újságírókét és néhány renitens játékosét.