In 1364 nam de eerste bewoner van het huis zijn intrek. Dat was Floirken Roeffart, een wapenknaap. Boven de toegangspoort hangt een alliantiewapen, dat stamt uit 1626. Dit alliantiewapen staat voor de Heren van Kessel. Alle kastelen in Baarlo waren vroeger in het bezit van de Heren van Kessel.
Na 1700 hebben er verschillende eigenaren in Huize Roffaert gewoond. De oost- en westvleugel zijn in 1937 opnieuw opgebouwd nadat deze verwoest waren. In 1996 is het pand voor het laatst nog een keer gerestaureerd.