L'edificio fu costruiro nel 1834, dapprima come residenza estiva, poi come abitazione stabile, da Jon Matìe Moroder da Scurcià, un grossita di mercerie con sede ad Ancona. Da questa villa gardenese i suoi figli Alois e Franz dal 1869 iniziarono ad esportare giocattoli di legno in tutta l'Europa con il marchio di Fratelli Moroder. Accanto alla villa si trovava un picclo deposito (oggi Pensione Sole) in cui tutti i sabati i produttori della valle arivavano a consegnare la merce. Al posto del fienile cotruito dietro all'edificio nel 1849, oggi sorge la scuola elementare di Ortisei.

A ridosso del versante Nord della Val Gardena, tra il 1621 e il 1641 Engelhard Dietrich, barone (dal 1630 conte) di Wolkenstein fece erigere il Castel Gardena per assicurarsi il controllo della strada diretta ai passi, il cui tracciao nella valle era stato modificato. Nel 1841 il castello divenne un ricovero per poveri, ma nel 1926/26 fu acquistato dal barone Carlo Frachetti, che lo restaurò e rinnovò rispettandone lo stile originario.