A film amerikai-magyar kooprodukcióban készült. Ez nagyrészt annak volt köszönhető, hogy a filmnek a producere a magyar, de amerikai állampolgárságú Bohém Endre volt, aki egyébként Fábrival együtt a forgatókönyvet is írta. A nagyszabású alkotás előkészítése már 1966-ban megkezdődött. A Pál utcai fiúk történetéhez ugyanis olyan korhű helyszíneket kellett keresni Budapesten, melyek tökéletesen adják vissza a főváros múlt század eleji hangulatát. A regényben szereplő eredeti utcákat megtalálni és rekonstruálni komoly kíhívás volt. Fábri szerencséjére támaszkodhatott a magyar filmgyártás egyik legkíválóbb látvány- és díszlettervező szakemberére, Romvári Józsefre, aki most sem vallott szégyent, és kíváló meglátásaival segítette a rendező munkáját.
Az egyik legnagyobb feladat a grund megtalálása volt, melyből a forgatás idején már mutatóban is alig volt egy-kettő Budapesten. A stáb sok helyszínt nézett át, míg végül az Újlipótvárosban, a Gogol és Visegrádi utca sarkán lévő foghíjtelekre esett a választás. A döntést megkönnyítette, hogy mindkét utcában még sárga macsköves burkolaton lehetett lépkedni, ami stílusban jól passzolt a felidézett korszakhoz. Érdekesség, hogy 1968 nyarán amikor elindultak a film munkálatai, a telek területe már parcellázva várta az építőket, ám az építkezés csak a forgatás befejeztével kezdődött el. Az azóta itt álló panelházak és autóparkolók sajnos semmi nyomát nem mutatják, hogy ötven éve itt bizony komoly csatát vívtak a Pál utcai fiúk a vörösingesekkel. A precíz előkészítésnek köszönhetően Romvári, egy 150-szer 200 centiméteres makettasztalon előre lemodellezte és felépítette a farakásokat. Mellé pedig méretarányos hozzáépítette a környező házakat, a szomszédos telkeket és a grund két bejáratát. A valóságban aztán sor került némi korrekcióra, hiszen a forgatási napok előtt, a környék házain bizonyos homlokzatátalakításokat végeztek. Díszletként korabeli cégtáblákat tettek ki és kirakatokat rendeztek be. Megpróbálták a képbe kerülő épületeken kijavítani a hiányzó vagy sérült szecessziós stukkókat. Persze a grundot is berendezték, hiszen például Janó fakunyhója, a gőzfűrész házikó, vagy éppen a farakások is épített díszletelemek voltak.
Romvári beillesztett néhány olyan apró kelléket is, melyek a saját személyes tárgyai voltak. Ezek egy része a családi gyűjteményből, másrészt különféle régiségboltokból és egyéb antikváriumokból voltak összegyűjtve. Így került a filmbe például Boka kis bőrtáskája, valamint néhány korabeli tintatartó és toll, melyek a tantermi jelenetben láthatók, vagy azok az üveg- és fémgolyók melyekkel a fiúk játszanak a Nemzeti Múzeum kertjében. A Nemzeti Múzeum mellett felvett jelenetben tűnik fel először Jancsó Nyika – a világhírű magyar filmrendező Jancsó Miklós fia –, aki a kisebbik Pásztort alakította a filmben. Visszaemlékezésében megemlíti, hogy ellentétben az angol gyerekszereplőkkel, ő teljesen amatőrként lett kiválasztva, és nem volt semmiféle színészi tapasztalata. Évekkel később – nem elszakadva a szakmától – operatőrként, számos magyar filmben dolgozott.
