Son origine se remonte au IX siècle, lorsque le royaume musulman de Toledo construisit un bâtiment défensif qui ensuite fut employé par les rois de Castilla et remplacé au XVIème siècle par l’ancien Alcazar.
Son architecture imite le style français, tout en respectant les proportions italiennes. Sa splendeur et beauté sont mises en valeur par les magnifiques jardins qui l’entourent : les jardins de Sabatini au nord et Le Campo del Moro au sud.
Sa décoration est grandiose : ses voûtes sont revêtues de peintures des plus grands artistes de différentes périodes : Goya, Velázquez, El Greco, Rubens, Tiepolo, Mengs, Caravaggio, Vicente López. Le palais compte également avec certaines collections royales importantes historiquement, comme celle de l’Armería Real, qui présente des armes et armures datant du XIII siècle et au-delà. Par ailleurs, il abrite la plus grande collection mondiale de Stradivarius et des collections uniques de tapisseries, porcelaines, mobilier et autres objets de grande valeur.