Fyrrum var prestsetrið að Sauðanes í miðju byggðar á Langanesi en þaðan fluttust íbúarnir brott á 20. 
öldinni vegna breyttra atvinnuhátta. Þarna var eftirsótt brauð um aldir með æðarvarpi, reka silungs- og selveiði.
Þegar séra Vigfús Sigurðsson (1811-89) fluttist frá Svalbarði í Þistilfirði til Sauðaness 1869, lét hann reisa fyrir sig íbúðarhús úr tilhöggnum steini á árunum 1879-81, eitt örfárra slíkra húsa á landinu á þeim tíma. Smiðir voru bræðurinir Björgólfur snikkari og Sveinn múrsmiður, sem bjuggu þá báðir að Sauðanesi. Mikill tekkbolur, sem rak á fjörur á Langanesi var notaður í útidyrabúnað og hurðir.
Séra Arnljótur Ólafsson (1823-1904) tók við af séra Vigfúsi og búið var í húsinu til 1955, þegar nýtt prestsetur var tekið í notknun. Árið 1989 tók Þjóðminjasafnið gamla húsið í sína vörzlu og síðasta áratug 20. aldar var unnið að endurbótum á því.
Sumarið 2003 var þeim lokið og húsið var opnað til menningartengdrar ferðaþjónustu samkvæmt samningi heimamanna og Þjóðminjasafnsins.
