Loðmundarfjörður gengur inn úr Seyðisfjarðarflóa milli Álftavíkurfjalls að norðan og Brimnesfjalls að 
sunnan. Hann var sérstakur hreppur til 1. janúar 1973, þegar hann sameinaðist Borgarfjarðarhreppi. Fyrri hluta 20. aldar var nokkuð blómleg byggð í firðinum. Um aldamótin 1900 voru íbúar 87. Bæirnir voru tíu en um miðja 20. öldina komst los á byggðina, þannig að 5 jarðir fóru í eyði á árunum 1940-1965. Stærstu jarðirnar, Stakkahlíð og Sævarendi voru lengst í byggð, hin síðarnefnda til 1973. Síðusu sumur hefur verið starfrækt þjónusta fyrir ferðamenn í Stakkahlíð. Klyppsstaður var kirkjustaður á meðan byggðin hélzt. Þar stendur kirkja (1891), sem var gerð upp að hluta seint á 20. öldinni. Þéttbýli myndaðist aldrei í firðinum og lítið var um hafnarbætur. Samgöngur voru alltaf erfiðar við Loðmundarfjörð.
Gönguleiðirnar liggja yfir Hjálmárdalsheiði til Seyðisfjarðar og Krækjuskörð til Borgarfjarðar eystri auk rudds jeppavegar yfir Nesháls til Húsavíkur (1961) og þaðan um Húsavíkurheiði til Borgarfjarðar eystri. Þessi vegur er oftast ófær fram á mitt sumar. Fyrrum gengu Loðmundarfirðingar til Héraðs um Hraundal. Íbúar fjarðarins vildu láta athuga vegagerð til Seyðisfjarðar út með ströndinni og um svonefndan Jökul en ekkert varð úr því. Árið 1993 fluttu tveir þingmenn Austurlands tillögu um gerð sumarvegar milli Seyðisfjarðar og Loðmundarfjarðar en þeir fengu ekki undirtektir.
Loðmundur landnámsmaður var rammur að afli og göldróttur. Þegar hann kom siglandi frá Noregi, varpaði hann öndvegissúlum sínum fyrir borð til að láta guðunum eftir að ákveða búsetu sína. Hann settist að í Loðmundarfirði. Síðar bárust honum fréttir af súlunum annars staðar og hann tók sig upp og settist þar að. Á leið sinni brott frá Loðmundarfirði sagði hann: „Ég legg það á hvern, sem siglir í kjölfar mitt, skuli aldrei ná landi aftur”. Ekki er vitað, hvort álög hans hafi orðið að áhrínisorðum.
