La construcción original fue levantada en el siglo XVI y se encuentra conformada por dos casonas
La Casa de los Azulejos o Palacio de los Condes del Valle de Orizaba, como también se le conoce, es un edificio ubicado en el Centro Histórico de la cdmx, entre la calle de Madero y cinco de Mayo.
Fue construido durante la época virreinal y se le conoce comúnmente como casa de los azulejos, debido a su cubierta de azulejos de talavera poblana que recubren la fachada del edificio y hacen una de las obras más bellas de la arquitectura del barroco novohispano.
La construcción original fue levantada en el siglo XVI, se encuentra conformada por dos casonas, la que se ubicaba en un principio hacia el lado Sur, era la que pertenecía, junto a la plazuela de Guardiola, a un señor llamado Damián Martínez.
Viéndose en apuros económicos Don Damián, se ve en la necesidad de venderla y en el año de 1596, a otro señor de nombre Diego Suárez de Peredo. Este señor al enviudar se retira a la orden religiosa y deja asi la propiedad en manos de su hija quien se casa con el Segundo Conde del Valle de Orizaba de nombre Luis de Vivero.
Don Luis era hijo del Primer Conde del Valle de Orizaba, Don Rodrigo de Vivero y Aberrucia. Este hereda una de sus propiedades que se encontraba anexa a la casa a su hijo, que era la casa Norte, por lo que Don Luis fue el primero de la familia en habitar las casas, las cuales ordenó unir.
El aspecto actual del Palacio se le debe entonces a uno de sus descendientes, Doña Graciana Suárez de Peredo, la Quinta Condesa del Valle de Orizaba. En el año de 1737 viendo la condesa el deterioro del inmueble, solicita su reparación y es entonces como lo vemos en la actualidad.
Fue habitado por los descendientes de la familia hasta recién consumada la Independencia de México. Cuando la propiedad fue adquirida por varios personajes destacados del país, hasta cambiarle su uso residencial, que es cuando el inmueble llegó a convertirse en la sede del conocido Jockey Club de México en 1881, y posteriormente y por un breve periodo en la Casa del Obrero Mundial.
También fue residencia de los Yturbe Idaroff. Desde principios del siglo XX es la casa matriz de una conocida cadena de restaurantes y tiendas departamentales en México.
