1584/1585 Haubold von Einsiedel (1521-1592) richtet auf dem Gelände zwischen dem heutigen Plankenweg und der Poststraße einen landwirtschaftlichen Gutshof (Vorwerk) ein.
Ca. 1592/94 wird das Schloss im Stil der Renaissance errichtet.
1680 wird die neue Herrschft Weißbach mit Dittersdorf gegründet. Das Vorwerk Dittersdorf wird Herrschaftssitz und Rittergut.
1686 wird Curt Heinrich I. von Einsiedel alleiniger Besitzer der Herrschaft.
Bis 1809 ist das Rittergut im Besitz der Grafen von Einsiedel.
Um 1740 wird ein barocker Lustgarten am Schloss angelegt.
1809 vererbt Curt Heinrich III. von Einsiedel das Gut an Gräfin Henriette Louise
Renate Auguste von Düben, geb. von Schönburg-Forderglauchau (1783-1859), seit
1826 verehelichte von Löwenhjelm. Nach deren Tod veräußert ihr Enkel, Carl Gustav
Graf von Düben die Herrschaft Weißbach mit Dittersdorf an den sächsischen Staat.
In der Folgezeit gibt es mehrere Besitzer- und Nutzerwechsel.
1887 brennt das Schloss ab. Auf den Grundmauern des Ostflügels wird danach ein
neues Wohngebäude errichtet.