En 1871, los condes del Valle de Orizaba decidieron vender la propiedad a Rafael Martínez de la Torre, famoso por construir la colonia Guerrero; y a partir de 1891, se utilizó para albergar las instalaciones del Jockey Club de México.
Su fachada adornada de azulejos poblanos de talavera la hace única en el mundo. la Casa de los Azulejos se fue volviendo un centro de reunión de intelectuales; primero en la época porfiriana ahí se congregaba la élite del momento, cuando el edificio era el Jockey Club de México; luego se convirtió en cafés, como lo es hasta hoy, un restaurante-café Sanborns.
La casa fue revestida por azulejos de talavera hechos a mano en Puebla.
Se utilizó además cantera mexicana con un diseño churrigueresco.
Bellos barandales que adornan los balcones y corredores.
