Eigentlich sind es zwei Schlösser - eines liegt an Land und das zweite ein Stück im See draußen. Das Landschloss wurde 1626 erbaut, ist heute aber nicht öffentlich zugänglich, weil es als Ausbildungsstätte für Land- und Forstwirtschaft dient. Im Hof steht ein schmiedeeisener Rokokobrunnen und an der Wand des Gebäudes sieht man Wappenfresken der ehemaligen Besitzer von Ort.

Das Seeschloss ist teils älter, schon 909 wurde es als "Veste Ort" erwähnt, teils bekannter, durch die Dreharbeiten für eine viel gesehene Fernsehserie. Die Jahreszahl 1092 am Schlossturm gibt uns vielleicht einen Anhaltspunkt dafür, wann das heutige Gebäude ursprünglich errichtet wurde. Belegt ist, dass einige Teile von Kaiser Friedrich III im 15. Jhd. erbaut wurden.

Der dreieckige Hof wird von zweigeschoßigen Arkaden umsäumt. Eine spätgotische Außentreppe führt in den ersten Stock hinauf. An einer Wand sieht man die Höhe der Überschwemmungen des Traunsees seit 1574. Das Seeschloss wurde 1634, nach einem Brand, beim Neubau stark umgestaltet. Die Festung kam 1689 in kaiserlichen Besitz und wurde dann vom Salzoberamtmann von Gmunden verwaltet.

Im Jahr 1876 erwarb Erzherzog Johann Salvator beide Schlösser. Er baute für seine Mutter die Schlossvilla Toscana, die hinter dem Landschloss liegt. Der Sohn des Großherzogs von Toscana war mit seinem Cousin, Kronprinz Rudolf von Habsburg, eng befreundet. Genau wie dieser entzweite er sich jedoch mit seiner Familie, teils weil er sich im Rahmen seiner Laufbahn als Oberst gegen den militärischen Drill aussprach, teils weil er 1889 eine bürgerliche Ehe mit einer Balletttänzerin einging. Er nahm den Namen seiner Schlösser an und nannte sich demnach Johann Ort. Kurze Zeit später unternahm er eine Reise nach Südamerika, doch das Schiff ging unter und er wurde als verschollen gemeldet.