En 1534, le souverain du Wurtemberg, le duc Ulrich - après l'introduction de la Réforme - a pris possession du monastère de Hirsau.
Les moines ont alors dû quitter le monastère.
Une école protestante a été créée en 1556 par le duc Christoph, fils du duc Ulrich.
A la place de la maison abbatiale médiévale, le duc Ludwig de Wurtemberg fit construire par son architecte de cour Georg Beer, entre 1589 et 1593, un château de chasse adjacent à la clôture au sud. Il y était relié par une tour-porte de quatre étages.
La qualité de la conception du bâtiment est assurée par Georg Beer. L'intervention de nombreux artisans de la résidence de Stuttgart permit en outre d'atteindre une grande qualité dans l'exécution des travaux.
Heinrich Schickhardt (1558-1635), un élève de Beer et son successeur, a soutenu le projet de construction.
Avec sa façade Renaissance structurée et orientée vers l'extérieur, l'ensemble des trois ailes conférait un caractère représentatif à l'ensemble des bâtiments.
Elle s'étendait sur environ 37 mètres du nord au sud et sur près de 76 mètres d'est en ouest. Dans l'aile est presque carrée
Les pièces de représentation se trouvaient probablement dans l'aile est. Cette construction presque carrée, avec ses quatre pignons en queue de cheval, comportait une cave et un grand hall avec cheminée.
Des rapports contemporains indiquent qu'un étage était doté d'un plancher oscillant qui se balançait en rythme lors des danses.
L'aile sud allongée avec une tour d'escalier, dont seuls les murs du rez-de-chaussée ont été conservés, servait de bâtiment de liaison.
Conformément à son rang, le duc utilisait son château comme lieu d'hébergement pour ses voyages aux bains de Liebenzell, Bad Wildbad ou Bad Teinach et pour ses séjours de chasse.
Il est probable que le château ait également servi de refuge à la famille ducale lorsque les "Sterbenslaufte" (courses à la mort) se sont déclarées à Stuttgart. Il s'agissait de la peste, du choléra ou d'autres épidémies.
Le règne princier à Hirsau a duré presque 100 ans jour pour jour (1592 - 1692), puis le château et le monastère attenant ont été incendiés par les troupes françaises pendant la guerre de succession du Palatinat.
Seuls de maigres vestiges, tels que des fragments d'architecture et des parties d'une grande cheminée, ont été conservés de l'aménagement autrefois somptueux.
En 1740, l'aile ouest du château, moins détruite, a été transformée en grenier à céréales.
Sur la base de représentations picturales de l'époque, on sait que les dégâts causés par l'incendie aux bâtiments auraient pu être réparés avec des moyens relativement modestes. Mais d'une part, le Wurtemberg était protestant depuis 1535, un couvent catholique pour hommes n'était donc plus nécessaire. D'autre part, en raison des guerres incessantes et de leurs conséquences (guerre de 30 ans, guerre de succession), le Land n'était ni en mesure ni désireux d'entretenir les biens immobiliers relativement insignifiants pour la prospérité du pays. L'administration libéra les ruines comme carrière pour la population, afin que celle-ci puisse obtenir des matériaux de construction bon marché.
Ce n'est qu'au début du 19e siècle que l'on s'est souvenu de l'héritage culturel et que l'on a placé le monastère sous protection. Bien avant cela, la nature s'était déjà emparée des ruines du château.
Un orme a poussé sur les murs et le poète local Ludwig Uhland l'a chanté dans un poème. C'est pourquoi l'arbre a également été appelé l'orme d'Uhland. En raison d'une maladie fongique, il a dû être abattu le 10 mars 1989. Seule une souche de 6 mètres a été conservée comme monument. Il a toutefois fallu l'enlever pour des raisons de sécurité.
