In einer breiten Talaue am Oberlauf der Zschopau liegt das Waldhufendorf Walthersdorf. Erstmalig wurde der Ort 1367 in einer Urkunde Kaiser Karl VI. erwähnt, in der er der Herrschaft Schlettau mit den zugehörigen Dörfern Sehma, Cranzahl, Cunersdorf, Walthersdorf und Königswalde die zollfreie Einfuhr von Getreide, Vieh und anderen Gütern aus Böhmen zusicherte. Die Gründung des Ortes und die Herkunft der Siedler ist quellenmäßig nicht belegt. Nach heutigen Erkenntnissen dürften es im Zeitraum von etwa 1180 - 1250 fränkisch - thüringische Siedler gewesen sein. Der Überlieferung nach soll der Name des Ortes nach seinen Lokator Namens Walther entstanden sein. Die Herrschaft Schlettau gehörte den Herren von Schönburg auf Hassenstein und stand unter der Lehnshoheit des Königs von Böhmen. Friedrich von Schönburg schenkte die Herrschaft 1413 dem Klöster Grünhain.  

1536 wurde das Kloster säkularisiert und der Besitz fiel an den sächsischen Kurfürsten. Obiges Bild zeigt die älteste um 1720 gefertigte Zeichnung eines unbekannten Künstlers mit dem Erbgericht, einer Mühle mit Bäckerei und mehreren Gütern und Häusern. Außerdem ist das seit 1711 nachweisbare Siegel der Gemeinde abgebildet. Es stellt die Glücksgöttin Fortuna, schreitend auf einer geflügelten Erdkugel, ein vom Wind geblähtes Band haltend dar.

1863 kaufte der Buchholzer Fabrikant Georg Adler die untere Mühle und baute sie zu einer Holzwarenfabrik aus. Später wurden noch zwei Papierfabriken im Ort errichtet. Begünstigt wurde die Entwicklung des Ortes durch den Anschluß an die 1888/89 fertiggestellte Eisenbahnlinien Schwarzenberg - Buchholz und Schlettau - Crottendorf. Der Bau des Gemeindeamtes 1911 war ein gesellschaftlicher Fortschritt, wurden doch damit die Amtsgeschäfte des damaligen Gemeindevorstehers aus seiner Wohnstube in Amtsräume verlegt. Im selben Jahr erfolgte der Anschluß des Ortes an das Stromnetz, was für die Entwicklung von Industrie, Handwerk und Landwirtschaft sowie für die Wohnbedingungen einen entscheidenden Schritt brachte.

Die ehemalige Tanzgaststätte Krone wurde 1958 als Betriebsferienheim ausgebaut und beherbergte bis vor kurzen eine Kinder- und Jugendfreizeitstätte, die leider auch geschlossen ist. Die ehemalige Papierfabrik Sehmisch wurde 1957 ebenfalls zu einen Betriebsferienheim umgebaut, dort befindet sich heute das "Gästehaus Pension Oehler". Mittlerweile die einzige Pension in Walthersdorf.