Elliðaey er fremur stór eyja norðvestan Stykkishólms. Hæst á henni ber Bjarghól og rétt norðan hans er Heiðnaberg, sem Guðmundur biskup góði lét eiga sig að vígja til að landvættir og álfar ættu áfram samastað. Þarna er mikill fugl og vitinn á hólnum var reistur 1951. Eyjan er eins og gamall eldgígur í laginu. Fyrrum voru margar verbúðir á eyjunni og árið 1702 bjuggu 17 manns þar á þremur býlum. Þá var ein verbúð eftir. Öld síðar voru aðeins fjórir í eyjunni en árið 1845 voru þar 15 manns. Árið 1920 bjuggu fimm manns á Elliðaey. Árin 1914-1929 bjó þar Ólafur Jónsson, sem byrjaði refarækt í eynni meðal hinna fyrstu við Breiðafjörð. Ábúð lauk ekki fyrr en 1960. Á Vitahóli, suðvestan gamla bæjarhólsins var reistur fyrsti viti við Breiðafjörð árið 1902. Þar var gjarnan þurrkuð mykja til eldsneytis.
Landnáma segir frá Elliðaey í tengslum við landnám Geirmundar heljarskinns, Steinólfs lága og Þrándar mjóbeins. Þeir eru sagðir hafa lagt skipum sínum í skjólgóðan eyjarvoginn (Höfnina) á meðan þeir hugðu að landnámi við norðanverðan Breiðafjörð og á Skarðsströnd. Eyrbyggja segir frá Þórarni Máhlíðingi, sem Arnkell goði fylgdi í Elliðaey, þegar hinn fyrrnefndi og félagar hans sigldu brott undan reiði Snorra goða. Eyjólfur Æsuson og Víga-Styr gerðu Eiríki rauða hið sama til góða, þegar hann fór að leita Grænlands.