Das Schloss wurde etwas oberhalb des Marktplatzes an Stelle einer älteren Anlage vom Hammerherrn Wolf Egerer 1561 errichtet.

Bis 1848 befand sich hier das Pflegegericht der Herrschaft Garsten bzw. nach der Aufhebung des Klosters 1787 der Urbaramtsverwalter des Religionsfonds als Rechtsnachfolger. Über DI Pakosta, dessen Vater als sogenannter "Billiger Jakob" im vorigen Jahrhundert nach Weyer gekommen war, ging das Schloss 1979 an die Marktgemeinde Weyer.

Der straßenseitig schmale Baukörper mit 2 runden Eck-Erkern stammt aus dem 16. Jahrhundert, die Türmchen sind wahrscheinlich erst 1749 hinzugefügt worden. An der Rückseite befindet sich ein großer spätgotischer Flacherker auf Konsolsteinen.

Sehr stimmungsvoll ist der kleine fünfeckige Arkadenhof. Die Räume im Untergeschoß haben weite Tonnengewölbe, im Obergeschoß zierliche Kreuzgratgewölbe. Über dem hinteren großen Rundbogenportal sind spätgotische Fenster angebracht. Portale und Fenster sind aus rotem Marmor. Verschiedene bauliche Abänderungen in den Räumen erfolgten bei der umfassenden Renovierung 1980, die dieses Kleinod vor dem Verfall gerettet hat. Heute ist hier die Musikschule untergebracht.

Sowohl der Mehrzwecksaal als auch die wunderschönen Räumlichkeiten des Schlosses können nun für Veranstaltungen genützt werden.