Erstmals erwähnt wurde es 1343 in der Meißner Bistumsmatrikel. Ein Münzfund von 1985 belegt, dass die Gegend schon im ersten und zweiten Jahrhundert unserer Zeitrechnung durch Slawen besiedelt war. Diese Ersterwähnung bezieht sich jedoch nicht auf das Schloss Schwepnitz, sondern auf das ehemals in der Nähe gelegene Gutshaus Schwepnitz.
1541 verkauften die Gebrüder Knobloch das halbe Rittergut samt Gasthof an die Burggrafen von Dohna auf Königsbrück. Das Schloss existierte damals noch nicht, es ist auch nicht bekannt wer es gebaut hat.
Am 19.06.1852 brannte es durch einen Blitzschlag bis auf die Grundmauern nieder. Graf von Redern ließ es im Stile der englischen Gotik wieder aufbauen, mit 4 Ecktürmchen und vielen Verzierungen.
Nach dem Grafen gab es noch 11 weitere Besitzer. Ende des 19. Jahrhunderts war es Baron von Rochow, der auch die Linden an der Zufahrt zum Schloss anpflanzen ließ, ehe es Arndt von Wolffersdorf mit seiner Familie kaufte.
Zum Schloss gehörten Ländereien in einer Größe von 145ha, zu denen Wälder, Felder, die Teiche an der Grüngräbchener Straße, der Park, die „Fischzucht“ und das Gärtnerhaus rechts vom Schloss, die Stallungen und das alte Rittergut (Gesindehaus, Kutschenremise), welches links vom Schloss standen.
1945 wurden die Schlossbesitzer enteignet, sie flohen in den Westteil Deutschlands. Nur Tochter Vera von Wolffersdorf blieb bis 1947 bei der Familie von Dr. Georgi, bevor auch sie Schwepnitz verließ.
Die Ländereien wurden auf Neubauern, die Gemeinde Schwepnitz und das Land Sachsen aufgeteilt.
1946 zogen die ersten Schulkinder ein. Zuerst war es eine Volksschule. Anfang der 50er Jahre wurde es Polytechnische Oberschule (POS).
Als Schule wurde es bis 1977 genutzt, danach kaufte das Volkseigene Gut Koitzsch 1978 das Schloss (ohne Rittergut und Gärtnerhaus) und richtete es als Lehrlingswohnheim ein, in dem nicht nur deutsche Lehrlinge wohnten, sondern auch junge Leute aus der Mongolei, aus Sambia und Mosambik.
1991 wurde das Wohnheim geschlossen, es fand lange Zeit keinen neuen Besitzer.
1992 war Vera von Wolffersdorf zu Besuch in Schwepnitz und bekundete, dass sie kein Interesse an der Rückübertragung des ehemaligen Besitzes hat.
1992 ließ die Gemeinde das ehemalige Rittergut, welches bis dahin Wohnhaus war, abreißen.
Am 10.11.1996, abends gegen 19 Uhr, rückte die Feuerwehr zum Schloss aus, denn der ganze Dachstuhl stand in Brand. Da auch die Deckenbalken brannten, stürzte letztendlich alles ins Innere des Gebäudes.
Bis heute ist nicht geklärt, ob es Brandstiftung war.
Bei einer Auktion in Berlin, zu der auch der Schwepnitzer Bürgermeister angereist war um im Auftrag des Gemeinderates mitzubieten, erwarb ein Anderer das Anwesen. Der Bieter hatte keine Ahnung, dass dieses ehemals ansehnliche Gebäude nur noch eine Brandruine sein würde.
Danach gab es einen 2. und 3. Besitzer, aber keiner kümmerte sich darum.
2014 kaufte Torsten Winger das gesamte Anwesen, aber die Erben des Verkäufers bereiteten ihm 5 Jahre lang große Schwierigkeiten, so dass es zum Baustopp kam. Nachdem diese Schwierigkeiten endlich aus dem Weg geräumt werden konnten, ging es an die ersten Sicherungs- und Aufräumarbeiten
In den kommenden Jahren wird das Schloss durch den Schloss Schwepnitz e.V. renoviert und so für die Öffentlichkeit wieder zugänglich gemacht.