La historia de este edificio inicia en el año de 1524 cuando Hernán Cortes le otorgo parte del terreno a Antonio Burgueño. Sin embrago el predio que ocupa la casa sería adquirido por Doña Graciana Suárez Paredo, mujer de enormes riquezas y don Luis de Vivero, proveniente de una de las familias más ricas durante el virreinato se unieron matrimonio para denominarse los Condes de Orizaba.
Su fachada adornada de azulejos poblanos de talavera la hace única en el mundo. la Casa de los Azulejos se fue volviendo un centro de reunión de intelectuales; primero en la época porfiriana ahí se congregaba la élite del momento, cuando el edificio era el Jockey Club de México; luego se convirtió en cafés, como lo es hasta hoy, un restaurante-café Sanborns.
El estilo del inmueble adquirió su estilo por el año de 1737 la facha estilo mudéjar.
Los Condes de Orizaba decidieron vender la propiedad a Rafael Martínez.
Se utilizó para albergar las instalaciones del Jockey Club de México.
