De huidige woning gaat terug op een hofstede die er reeds in het midden van de achttiende eeuw stond in het begin van de Koffiestraat. Het huis dat ook Les Saules werd genoemd, kende verschillende eigenaars. Achtereenvolgens namen de families de Geyter, Baeten, De Smet, Dauwe en Cremers er hun intrek. De laatste drie families waren brouwers die hun activiteiten ontplooiden op een nabijgelegen site in de Mouterijstraat.
In 1899 kocht brouwer Eugène Cremers de site met het woonhuis, de mouterij en de bijgebouwen. Tot op de dag van vandaag bewonen afstammelingen van de familie Cremers het indrukwekkende domein met het sinds 2004 beschermde woonhuis en de typisch negentiende-eeuwse landschapstuin.