Eyðibýlið Skeljavík er upp af samnefndri vík skammt sunnan Hólmavíkur. Aðeins tveir aðrir bæir á landinu voru kenndir við skeljar. Þessa bæjar var fyrst getið í máldaga Kálfaneskirkju 1397 og síðar 1709, því að jörðin var kirkjueign. Árið 1805 var hún einkaeign. Verzlun var rekin í Skeljavík frá miðri 19. öld. Lausakaupmenn komu þangað á sumrin og Barðstrendingar og Strandamenn áttu viðskipti við þá. Viðskiptin fóru aðallega fram í Skipavík, sem gengur inn úr Skeljavík, og á Skipatanga, þar sem stóð bær fyrrum. Skeljavík fékk löggildingu skv. konungsbréfi 1863 og þar var verzlað til 1894.
Höfnin er og var tiltölulega góð frá náttúrunnar hendi og var notuð mun fyrr en verzlun hófst.
Bæði Gíslasaga og Gunnlaugssaga ormstungu segja frá skipakomum þangað frá Noregi. Skeljavík var lítil jörð en notadrjúg og þar brást aldrei beit. Bærinn fór í eyði 1935. Húsin stóðu fram yfir síðari heimsstyrjöldina og þar dvöldu af og til 2-3 skozkir hermenn. Hólmavíkurhreppur keypti jörðina 1935 og bæjarbúar nýta hana enn þá.
Síðustu áratugi 20. aldar voru Hólmvíkingar athafnasamir á jörðinni. Þar er Þverárvirkjun, Strandasel, sumarhús átthagafélagsins og sumarhús Gistiheimilisins á Hólmavík. Refabúið Víkurbú var rekið þar á níunda áratugnum. Hús þess standa enn þá og eru nýtt sem fjár- og hesthús. Hesthúsahverfi Hólmvíkinga eru einnig á jörðinni rétt utan Hvítár. Minnisvarðinn um Hermann Jónasson, þingmann Strandamanna, var afhjúpaður þar 1979. Golfvöllur og íþróttavöllur heimamanna er á Skeljavíkurgrundum.
