Das heutige Schloss wurde 1539 für François I d'Affry und seine Frau Elisabeth de Cléry errichtet (Hauptportal datiert). 1578–1580 liess Ludwig von Affry das Gebäude um das Doppelte erweitern. In diesem Zusammenhang stifteten sein Schwiegersohn Petermann von Praroman (um 1558–1622) und Christoph von Praroman (†1591) ihre Wappenscheiben in das Schloss (FR_59–60). 1644 erhielt das Gebäude eine Fachwerkgalerie, die das Hauptgebäude mit dem Nebengebäude verband. Die Salondecke wurde Ende der 1660er Jahre vom Solothurner Maler Michael Vogelsang reich mit Ranken und Jahreszeitenallegorien nach Vorlagen von Jean Le Pautre bemalt.
Anfang des 19. Jahrhunderts gelangte das Schloss durch die Heirat Marie-Anne Elisabeth d'Affrys mit Hubert de Boccard an die Familie de Boccard. Als 1907 das Gebäude an die Missionare des Hl. Franz von Sâles vermietet wurde, wurde das Schloss durch Broillet & Wulffleff umgebaut und um ein Stockwerk erhöht. Heute gehört das Schloss der Gemeinde Givisiez und dient als Altersheim. Zu diesem Zweck wurde es 1987–90 renoviert und erhielt einem neuen Anbau.