Kauptúnið Höfn er yzt við Bakkafjörð austanverðan. Kauptúnið er yfirleitt nefnt Bakkafjörður og varð löggiltur verslunarstaður árið 1885. Atvinnulíf byggist að mestu á sjósókn en einnig þjónustu við Skeggjastaðahrepp. Gamla bryggjan á Bakkafirði var áður eina viðleguaðstaða báta en þá þurfti að taka á land eftir róðra því höfnin gefur lítið skjól. Þar stendur enn gamall krani, sem var notaður í því skyni.
Ekið er fram hjá bænum Bakka þegar komið er ofan af Sandvíkurheiði í átt að Bakkafirði en þar bjó Afi á Knerri, aðalpersónan í Fjallkirkjunni eftir Gunnar Gunnarsson.
Í aprílbyrjun 2006 ákváðu íbúar Bakkafjarðar og Þórshafnar að sameina sveitarfélögin, þannig að framvegis telst kauptúnið með Norðurlandi.