Im Jahr 1732 bot Burg Nunhem den aus Ommen in Brabant vertriebenen Nonnen Unterkunft. Die Nonnen nahmen die Marienstatue mit nach Numhem, die erst 1840 nach Ommen zurückkehrte. Der nächste Besitzer war ein Rotterdamer Geschäftsmann, der ein Saatgutvertriebsunternehmen gründete.
Leider wurde dieses Schloss 1947 durch einen Brand zerstört, es blieben nur Ruinen übrig. Für die Restaurierung wurden die alten Außenmauern verwendet. Heute wird das Schloss von Nunhems Netherlands BV genutzt, dem Gemüsesaatgut-Verarbeitungsunternehmen des Chemiekonzerns BASF.