Se construyó a principio del siglo XVII con el estilo de los Austria, que tanta personalidad ha otorgado a varias zonas de Madrid y Toledo. Fue habitada por los marqueses de Villacastel de Carrias, los condes de Murillo y los condes de Belveder, entre otros. En 1800, pasa a manos de doña Teresa de Borbón y Vallabriga (condesa de Chinchón) y su esposo don Manuel Godoy. A partir de la caída de Godoy, la casa no acogió nunca más a su familia titular y fue objeto de arrendamiento durante todo el siglo XIX.
La propiedad sufrió, a partir de entonces, diversas segregaciones y cambios de titularidad, hasta que el Ayuntamiento de Villaviciosa, ante el riesgo latente de desaparición, la adquirió en 1986.
El noble edificio presenta dos robustas torres con naves laterales, que flanquean la austera fachada. Originalmente, esta fue de ladrillo macizo visto, pero en la actualidad presenta un revestimiento enfoscado de inmaculado blanco. Llaman la atención la elegante disposición geométrica de los ventanales abalconados, los zócalos y cornisas de granito, el pórtico de entrada con escudo de armas y la coronación del edificio por una cubierta de teja árabe y dos chapiteles piramidales en las torres. La finca, cuyo frontal es la edificación principal, está delimitada por tapias de ladrillo visto y enfoscados y encierra unos magníficos jardines con huertas, atravesados por el arroyo de La Madre. A los jardines se accede desde la fachada trasera por bellas escaleras de ladrillo macizo.
En 1995, el Ayuntamiento de Villaviciosa desarrolló un proyecto de restauración que otorgó al conjunto su aspecto actual, en el que se consolidaron y remozaron los elementos característicos y se aportaron nuevos revestimientos, pavimentaciones e iluminaciones para la mejora y funcionalidad del edificio. En la actualidad, la Casa de Godoy alberga la colección de pintura Maruja Díaz y Danza y el denominado Café del Infante, que recomendamos al visitante.(CERRADO TEMPORALMENTE)