Rody přicházely a odcházely, ale zámek byl vždy sídlem těch, kteří měli v Mattighofenu rozhodující slovo.
V roce 1551 byl zámek přestavěn nebo dokonce nově vystavěn na objednávku Christopha von Ortenburg. Zřejmě měl na křídlech mohutné rohové věže, které se existovaly ještě kolem roku 1700. V té době vedl do zámku ještě i padací most přes hluboký příkop. Ze 2. poloviny 16. stol. pochází také zazděná zárubeň dveří z červeného mramoru, vedoucí původně do vnitřního podkroví, kterou dnes můžete vidět na pravé straně u vjezdu do zámku. Je na ní nápis "Joachim Grave zv Ortenburg etc. Vrsvla Gräfin zv Ortenburg geporene goggerin Freiin zv Khirchperg vnd Weissenhorn sein Gemachel MDLI" a na renesančním tympanonu jsou erby rodů Ortenburgů a Fuggerů.
Brzy po připojení kraje Innviertel k Rakousku v roce 1794 byl zámek i s přilehlými pozemky prodán pivovarníkovi Jakobu Haidenthalerovi, který ho přestavěl na pivovar.
Během napoleonských válek byl zámek v roce 1799 kompletně přestavěn a renovován v poloitalském stylu. V roce 1868 přešel opět do vlastnictví císaře a při renovaci byl změněn na císařský lovecký zámek.
Zdroj: https://www.hornirakousko.cz/cz/pamatky/oesterreich-poi/detail/400514/zamek-mattighofen.html