A kastélyt és a hozzá tartozó 24 hektárnyi területű csodálatos parkot még a 18. században építtette a Nádasdy család. A Nádasdy család ősei már a 14. században birtokolták a környéket. A Schmidegg grófok 1736-ban szerezték meg a ladányi birtokot. Nádasdy Lipót 1851-ben Schmidegg Károlytól vette meg Sárladányt, amelynek nevét később a család kérésére a hatóságok Nádasdladányra változtatták. A 19. század közepén alakította ki birtokai új központját a Fejér megyei Sárladányban.
A családi legendárium szerint a Nádasdy-ak Angliából származnak, talán ezzel is magyarázható, hogy a kastélyt angol-gót stílusban építtették. Az épület és a hozzá tartozó park a Sárrét mocsaras, lápos vidékének szélén lévő sík területére épült, ahol szép időben a távoli hegyek kéklő kontúrja fogadja a látogatókat.
Lipót halála után a Nádasdy vagyont fia Ferenc örökölte a kastéllyal együtt. A 18. században épült barokk kastélyt 1873-ban alakították át romantikus stílusban, Hübner Nándor székesfehérvári építész és Linchbauer István budapesti műépítész tervei alapján. Az épülethez még tornyot és egy kétszintes szárnyrészt is hozzáépítettek. A kastély főbejárati homlokzatán a Nádasdy család festett címere található. A legenda szerint IV. Béla magyar király a tatár elől menekülve a nádasban bújt el. Tartózkodási helyét csak a Nádasdy-ak ismerték, akik vadrécével etették. Állítólag innen a címerben a vadkacsa. A kastély a mai formáját az angol tudor stílust kisebb átépítések után nyerte el.
