Ferdinánd 1503. március 10-én született Szép Fülöp kasztíliai király és Őrült Johanna második fiaként, bátyja V. Károly német-római császár és spanyol király volt.
Nagyapjuk, I. Miksa 1519-ben bekövetkezett halála után a trónt V. Károly örökölte, akinek egyik első dolga az volt, hogy eltávolítsa öccsét az országból és az osztrák örökös tartományok irányításával bízta meg. Az egymással igen hűvös viszonyban álló két testvér 1521-ben a wormsi gyűlésen titkos szerződést kötött: Károly átengedte Ferdinándnak a keleti tartományok igazgatását, ez alapozta meg a Habsburgok spanyol és osztrák ágának különválását. Ferdinánd Bécsbe érkezve újjászervezte a közigazgatást, felállította azokat a minisztériumoknak megfelelő hivatalokat, amelyek aztán évszázadokon át burjánoztak, létrehozta az udvari tanácsot, a titkos tanácsot, az udvari kamarát és az udvari kancelláriát.
1521-ben feleségül vette Jagelló Annát, II. Ulászló magyar és cseh király lányát, ugyanakkor Ferdinánd húga, Habsburg Mária Ulászló fia, II. Lajos felesége lett. Miután II. Lajos az 1526-os mohácsi csatában életét vesztette, sógora magának követelte országait. A cseh rendek 1527-ben egyhangúlag választották meg, de a magyar rendek 1526 novemberében Szapolyai János erdélyi vajdát választották meg királyuknak. Kisebb részük decemberben (a Ferdinánd fegyvereinek árnyékában megtartott) pozsonyi diétán érvénytelennek nyilvánította Szapolyai megválasztását és a jelen sem lévő Ferdinándot választotta meg királynak. A döntést 1527 októberében Budán megerősítették és novemberben a Habsburg uralkodó fejére is rákerült a Szent Korona. A kettős királyválasztás után évtizedes harc kezdődött, a nemesség érdekei szerint hol János, hol Ferdinánd oldalára állt.
Ferdinánd a bátyja által küldött pénzen sereget toborzott, és 1528-ra kiszorította Jánost az országból. Szapolyai ezután a töröktől kért támogatást, akik 1529-ben elfoglalták és Jánosnak adták át Budát, majd sikertelenül Bécset is megostromolták. Ferdinánd és János végül elismerte, hogy egyikük sem tudja legyőzni a másikat, és 1538. február 24-én Váradon titkos megállapodást kötött. A szerződés az ország keleti részét Szapolyainak, a nyugatit Ferdinándnak adta és kimondta: János halála után az egész ország Ferdinándra száll.