Während die Wasserburg Lipý, die derzeit restauriert wird, ein beredtes Denkmal aus der Zeit der Stadtgründung im 13. Jahrhundert darstellt, erinnert das Kloster an ihren Aufstieg zum Zentrum der Bildung. Die hier ansässige Lateinschule trägt auf den ersten Blick die Zeichen ihrer Gründungszeit. Wallenstein rechnete mit einer großen Institution und einer großen Zahl von Insassen. Das Kloster ist ein großes, vierstöckiges Gebäude mit der Allerheiligenkirche, das 1707 fertiggestellt wurde. Ab 1698 wurde das Areal um Loreto und angrenzende Kreuzgänge erweitert, die Heilige Treppe wurde 1725 fertiggestellt und die Kapelle der Heiligen Dreifaltigkeit 1767. Seine endgültige Form, einschließlich eines sich bis zum Fluss erstreckenden Gartens, erhielt es in den 1760er Jahren.