L'edificio fu costruiro nel 1834, dapprima come residenza estiva, poi come abitazione stabile, da Jon Matìe Moroder da Scurcià, un grossita di mercerie con sede ad Ancona. Da questa villa gardenese i suoi figli Alois e Franz dal 1869 iniziarono ad esportare giocattoli di legno in tutta l'Europa con il marchio di Fratelli Moroder. Accanto alla villa si trovava un picclo deposito (oggi Pensione Sole) in cui tutti i sabati i produttori della valle arivavano a consegnare la merce. Al posto del fienile cotruito dietro all'edificio nel 1849, oggi sorge la scuola elementare di Ortisei.

Nel 1830, Annamaria Pezlauzer Moroder ristrutturò l'antica casa colonica Lusenberg (in ladino: Jumbierch) trasformandola in una villa signorile. Era la nonna dello scultore e pittore Josef Moroder (1846-1939) che aggiunse la denominazione della villa al proprio nome. Al piano rialzato Moroder allestì il proprio studio artistico, di cui è conservato l'arredamento originale e che la sua seconda moglie Felizita utiizzò per commerciare in antiquariato.