Jan František Kristián Swéerts – Sporck neměl mužské potomky a tak Konojedy zdědila jeho dcera Barbora Marie provdaná O‘Relly, která už za dva roky je prodala Ludwigu Sulzerovi z Fuldy. Zámek a panství v dalších letech často střídaly majitele. Postupně patřily baronu Vincenzi von Weiderspergovi, pak úšteckému lékárníkovi Ignáci Pillerovi a po něm jeho dceři Anně provdané Mayerové. V roce 1899 získal Konojedy MUDr. Georg Delhaes, jemuž byly po vzniku Československé republiky zprvu vyvlastněny, ale v dalších letech se postupně jeho rodině vrátily zpátky. Definitivně o ně německá rodina Delhaesů přišla v roce 1945.
Po jejím odsunu byl zámek využíván různými organizacemi.
Sloužil například jako internát ministerstva sociální péče, ubytovna dětí,
učiliště ministerstva těžkého průmyslu a nakonec zde byl sklad vojenského
materiálu Čs. lidové armády. Celou tu dobu zámek chátral a před osudem ruiny ho
zachránila až sametová revoluce v listopadu 1989, po níž se dostal do
soukromých rukou a posledním majitelem je od roku 2008 postupně i s přilehlým kostelem Nanebevzetí Panny Marie rekonstruován.