Arndís auðuga Steinólfsdóttir nam land út frá Borðeyri og settist að á Bæ. Landnámabók segir, að Bálki Blængsson, sem var fyrstur landnámsmanna við Hrútafjörð, hafi búið síðustu æviárin á Bæ. Bær var og er höfuðból, fyrrum setur sýslumanns og þingstaður Bæjarhrepps til 1979 en þá var hann fluttur að Borðeyri. Bær er kostajörð og þar eru nú tvö lögbýli.
Á Bæjarnesi, sem gengur í sjó fram, eru friðlýstar náttúruminjar, s.s. steingervingar nákuðunga. Bæjarey, Baldhólmi og nokkur sker eru fyrir landi og þar er nokkuð æðarvarp og reki. Meðal annarra hlunninda jarðarinnar er mór, silungsveiði í vötnum og grasatekja.
Meðal kunnra ábúenda var Þorleifur Kortsson, sýslumaður og lögmaður norðan og vestan, sem vann sér orðstír fyrir afskipti af galdramálum og dugnaði við að koma fólki á bálið. Rétt innan túns eru taldar vera fornar dysjar, Þrælahaugar eða Þrælshaugar. Séra Búi Jónsson skrifaði lýsingu Prestbakkasóknar um miðja 19. öld og segist hafa fundið mannabein í haugunum.
