Bolungarvík er láglend og votlend og girt hamraþiljum á báða bóga, Skarðsfjalli (502m) að norðan og utan þess og Bolungarvíkurbjargi að sunnan með Drangsnes yzt. Þar hækkar landið upp á Bolungarvíkurheiði. Drangsvík gengur inn í Drangsnes og nöfnin eru dregin af berggangi í miðri víkinni. Næsta nes er allgrösugt og kallast Naust, enda var þar lending bæjarins í Bolungarvík. Þar standa enn þá ummerki um útgerðina, gamalt spil og rústir húsa. Botn fjarðarins er sandfjara, sem hefur myndast eftir ísaldarlok og Bolungarvíkurós, sem er væður á fjöru, rennur um hann miðjan. Kirkjuvað er fornt vað ofan Kirkjuvatns í dalnum. Nafnið bendir til þess, að einhvern tíma hafi verið kirkja í Bolungarvík. Fjöldi skerja er meðfram ströndinni. Þar er mikið af sel og æðarvarp í Stóraskeri og Landskeri.
Fyrrum voru tvö býli í víkinni, Bolungarvíkursel undir Skarðsfjalli (í eyði 1944; sumarbústaður) og Bolungarvík við sunnanverða víkina (í eyði 1949). Jónas og Reimar Finnbogasynir voru síðustu ábúendur jarðanna. Hlunnindi jarðanna voru einkum rekaviður til smíða og eldiviðar. Göngufólki gefst kostur á svefnpokaplássi, eldunaraðstöðu og baði og tjaldstæði. Einnig er hægt að fá flutning á sjó til og frá Bolungarvík.
Ofan Bolungarvíkurbæjarins eru Tvísteinar, þar sem álfar búa. Þegar bæirnir voru í ábúð, var börnum tekinn vari við ærslagangi við steinana og bent á slæmar afleiðingar slíks háttalags. Þarna voru eitt sinn nokkrir unglingar að leik og voru fremur baldnir. Álfarnir aðvöruðu foreldra þeirra án árangurs. Þeir tóku til sinna ráða og ærðu einn drengjanna, sem fannst síðar látinn inni undir heiði.
Dvergasteinar eru ofan Vatnalauta, sem eru skammt neðan Bolungarvíkurheiðar, Bolungarvíkurmegin. Þar bjuggu dvergar að gamalla manna sögn. Eitt sinn veiktist barn alvarlega á bænum Bolungarvík og batnaði ekki, hvað sem var reynt. Veður hindraði ferðalög, svo að ekki var nokkur leið að ná í lækni. Föður barnsins fannst ekki fullreynt fyrr en hann hafði leitað á náðir dverganna og gekk í óveðrinu upp að steinum til að fá þá til aðstoðar. Hann beið um stund eftir útkomu einhvers þeirra og um síðir kom einn, sem hlustaði á erindið, hvarf inn í steininn og kom út aftur að vörmu spori. Hann fór heim með bónda, skoðaði barnið og gaf því lyf og smyrsl. Barninu batnaði fljótlega og bóndi og dvergurinn urðu góðir vinir upp frá því. Lengi voru smyrslin, sem dvergurinn skildi eftir, varðveitt og notuð, þegar allt annað brást, og ekki stóð á árangrinum.