Egentligen är det två slott - ett ligger på land och det andra en bit ute i sjön. Landslottet byggdes 1626, men är idag inte tillgängligt för allmänheten, eftersom det är en lant- och skogsbruksskola. Det man kan se är att det på gården står en järnsmidesbrunn i rokokostil och på byggnadens vägg finns vapnen av de tidigare ägarna av Ort.

Sjöslottet är dels äldre, redan 909 omnämns det som "Veste Ort" (fästning Ort), dels mera välkänt, eftersom en omtyckt TV-serie spelades in där. Årtalet 1092 på slottstornet ger oss möjligtvis en fingervisning om när dagens byggnad ursprungligen uppfördes. Det finns i alla fall belägg för att några delar har byggts på 1400-talet av Kejsare Friedrich III.

Den trekantiga innergården omges av arkader i två våningsplan. En sengotisk utetrappa leder upp till andra våningen. På ena väggen ser man höjden av Traunsjöns översvämningar sedan 1578. Sjöslottet omgestaltades i stor grad 1634, vid återuppbyggnaden efter en brand. Fästningen kom 1689 i kejsarlig ägo och förvaltades sedan av saltöverämbetsmannen i Gmunden.

År 1876 köpte Ärkehertig Johann Salvator båda slotten. Åt sin mor byggde han slottsvillan Toscana, som ligger bakom landslottet. Sonen till Storhertigen av Toscana var nära vän med sin kusin, Kronprins Rudolf av Habsburg. Liksom denne kom han på kant med sin familj, dels för att han - inom ramen för sin tjänst som överste - uttalade sig mot alltför hård militärisk exercis, dels för att han 1889 ingick ett borgerligt äktenskap men en balettdansös. Han antog namnet av sina slott och kallade sig sedan Johann Ort. Strax därefter påbörjade han en resa till Sydamerika, men skeppet sjönk och han gällde som försvunnen.