Desde 1.085, año en que Alfonso VI de Castilla tomó Toledo a los Musulmanes, toda la zona amurallada cerca de la vieja puerta de Bisagra, quedó bajo el dominio del primer Cardenal de Toledo, despues de la Reconquista, llamado Bernardo de Cluny y perteneciente a la Orden del Cister.

En los siglos sucesivos y al perder la muralla su carácter defensivo quedó como "Quinta" de recreo de los Cardenales. A finales del siglo XVIII el Cardenal Lorenzana levantó un pabellón en lo alto del jadin que debidamente restaurado es lo que hoy vemos como Hotel.

En el resto de las dependencias, la familia Botin de Madrid recreó el estilo de una vieja Mansión Toledana con sus diversas, salas y dependencias, decoradas con azulejos, madera y artesonados antiguos así como la gran cocina con el Horno de leña de encinas que proporciona ese sabor único a los asados.