Vor der heutigen Ruine Kollmitz gab es eine ältere Burg am südlichen Thayaufer, die möglicherweise Hauenstein hieß. Sie wurde wahrscheinlich Anfang des 12. Jahrhunderts erbaut. Rund 150 Jahre später wurde diese alte Burg, die auf einem schmalen Felsenrücken den Weg zur Thayafurt bewachte, verlassen und es kam zu einem Neubau auf dem Umlaufberg nördlich der Thaya, der mehr Platz bot. Die neue Burg Kollmitz wurde ab 1300 vermutlich unter den Herren von Wallsee stark befestigt. Der Bergfried kann auf 1320 datiert werden und der Wohnturm im Osten der Ruine stammt aus der Mitte des 14. Jahrhunderts.

1411 erschien erstmals der Name Hofkirchen im Zusammenhang mit Kollmitz. Dieses aus Bayern stammende Geschlecht spielte später in der Renaissancezeit eine hervorragende Rolle im politischen, religiösen und militärischen Leben des Landes Niederösterreich. Kollmitz war auch Sitz eines Landgerichtes; der dazugehörende Galgen stand beim Markt Ludweis, dem wirtschaftlichen Zentrum der Herrschaft.
Das Aufkommen der Feuerwaffen im 15. Jahrhundert war Anlass zum Ausbau der Burg. Die Vorburg und die Böhmische Mauer, welche rund 300 Meter vor der Burg den Umlaufberg absperrt, wurden in der 2. Hälfte des 15. Jahrhunderts errichtet.

Um 1580 errichtete Wolfgang von Hofkirchen im östlichen Teil auf den mittelalterlichen Kellern moderne Wohntrakte mit großen Renaissancefenstern und Kachelöfen. Im Zuge der Gegenreformation wurde der evangelische Hofkirchen vertrieben und nach seinem Tod 1611 wurden seine Güter beschlagnahmt. Nach mehreren Besitzern kaufte 1693 der Propst des Stiftes Pernegg die Herrschaft Kollmitz und nutzte sie als Sommersitz.
1708 wurde Kollmitz von der Herrschaft Raabs erworben. Die Verwaltung übersiedelte in das Schloss Raabs und die alte Burg Kollmitz wurde nicht mehr gebraucht. Das noch verwendbare Material wurde weggebracht. Bei der Einführung der „Dachsteuer“ in der 2. Hälfte des 18. Jahrhunderts war Kollmitz bereits eine Ruine.
1935 erwarb die Stadt Waidhofen an der Thaya die Ruine Kollmitz als Draufgabe beim Kauf des Elektrizitätswerks in Kollmitzgraben. Der Verein zur Erhaltung der Ruine Kollmitz kaufte diese im Jahr 1994 und übergab sie der Stadtgemeinde Raabs.

Details sehen sieh unter: www.kollmitz.at