Le château est un bâtiment en L fermé par une cour médiévale, dont la construction s'étage entre le XIIème et XVème siècle. Jean de la Fabrie acquit la Sylvestrie en 1597. Celle-ci resta dans la famille jusqu'au XIXème siècle. L'hommage de la maison noble de la Sylvestrie fut rendu le 27 août 1764 par François de la Fabrie à François de Gombaut, Baron de Pujols.