Jeho zeť Karel Rudolf přijal jméno von Swéerts und Sporck a byl na něj, původně barona, přenesen hraběcí titul. Později vykonával úřad hejtmana boleslavského kraje, byl rovněž úspěšným a progresivním hospodářem, jako jeden z prvních u nás zavedl pěstování jetele. V roce 1726 také spoluzakládal první pražskou zednářskou lóži „U tří hvězd“.

Spolu se svou manželkou Annou Kateřinou založil 28. dubna 1739 nadaci pro 20 servitů, kteří se měli starat o nemocné. Nadace byla ustavena jako poděkování za uzdravení jejich syna, tehdy desetiletého  Jana Františka Kristiána. Serviti – Řád služebníků Panny Marie – se k nám dostali z italské Florencie už v časech Karla IV., za husitských válek byli od nás vyhnání a znovu se do Čech vrátili až v roce 1626. Členové řádu se věnují duchovní správě, ale také působí ve školách, v nemocnicích a podílejí se na misijní činnosti.

Karel Rudolf Swéerts- Sporck přenechal servitům zámek v Konojedech se zahradou, zámeckým kostelem a poplužním dvorem. V roce 1747 po nezbytném císařském schválení začali serviti, kteří sem přišli z pražského konventu sv. Michala, se stavebními úpravami. Především bylo nutné zbudovat nový kostel,  protože původní jim svou velikostí nevyhovoval. Stavba pokračovala velmi rychle a už o pět let později byla v hrubé podobě dokončena. V roce 1758 byl pak slavnostně posvěcen základní kámen nového konventu.

Konojedský klášter však neměl dlouhého trvání. Tak jako mnohé jiné konventy byl 4. ledna 1786 z nařízení císaře Josefa II. zrušen. V té době tu ještě pobývalo 14 řeholníků, kteří odtud definitivně odešli až v roce 1788. 

Zaniklý konvent servitů pak koupil z Náboženského fondu syn zakladatelů Jan František Kristián Swéerts – Sporck (1729 – 1802) a znovu ho přestavěl na pozdně barokní zámek. V areálu poplužního dvora dal zbudovat pivovar a lihovar. Konventní chrám Nanebevzetí Panny Marie nadále sloužil jako farní chrám a jako farář zde zůstal poslední převor kláštera a zároveň českomoravský provinciál servitů P. Raymund Weigner.