Eyðibýlið Kálfanes er rétt norðan Hólmavíkur og þar er flugvöllur sveitarinnar. Þar var kirkja fram yfir 1709.
Til eru heimildir um vígslu kirkjunnar árið 1182 í sögu Guðmundar biskups Arasonar. Þá var Þorlákur biskup helgi á yfirreið á Vestfjörðum í fyrsta sinni og Kálfaneskirkja nýbyggð. Samkvæmt máldaga frá 1397 var hún helguð Maríu mey, Jóhannesi skírara, Pétri postula og heilögum Ólafi Noregskonungi. Kirkjan í Kálfanesi var hálfkirkja, þ.e. að þar átti að syngja messu annan hvern helgan dag auk daganna, sem voru tengdir nafndýrlingum kirkjunnar.
Talið er, að kirkjustæðið sé ofarlega í túninu, ofan sléttrar flatar, sem er kölluð Elísuflöt, og að þar sé líka kirkjugarður. Biskupasögur segja frá því, að Guðmundur biskup góði vígði brunn að Kálfsnesi nærri gamalli alfaraleið. Í jarðabókinni 1709 kemur fram, að Kálfanes var meðal stærstu jarða sýslunnar og hlunnindi lægju í silungsveiði í Ósá og Tröllkonusíki, grasatekja og hrístekja. Jörðin var í ábúð til 1940, þegar húsin voru rifin og efnið notað til byggingar sýslumannshúss á Hólmavík. Steinsteypt neðri hæðin stendur enn þá og jörðin er nytjuð frá Hólmavík, sem er í landi hennar.
Mjög sjaldgæf plöntutegund, stórnetla, vex á bæjarhólnum. Hún er afbrigði af brenninetlu og svæðið, sem hún vex á, lítur út eins og dökkur blettur í landslaginu. Þessarar jurtar er getið í heimildum frá 18. öld og talið, að rót hennar hefði lækingarmátt, ef hún væri soðin í víni og hunangi, gegn brjóstveiki, hósta og hryglu. Ólafur Olavius, Eggert og Bjarni minnast á jurtina í ritum sínum. Líklega var þessi jurt flutt inn og ræktuð til lækninga eða unnin úr henni hör, en hún var notuð til dúkagerðar í Svíþjóð og Englandi. Skrifpappír, sem var líka unnin úr plöntunni erlendis, þótti góður.
