Di Castel Fiorentino oggi non rimane quasi niente. Sorto come fastosa dimora Sveva, ne seguì le sorti con un rapido degrado dopo la morte di Manfredi; già nel 1300 ebbe inizio la spoliazione della dimora fino alla totale distruzione.

I reperti archeologici lasciano intendere la grandiosità della struttura, rimasta famosa per aver vissuto il momento di trapasso di Federico II.