Hvítabjarnarey nær 28 m hæð yfir sjó og um hana liggur gjá með stórum steini í miðjunni. Þessi steinn er úr sama efni og Kerlingarfjall við Kerlingarskarð, þar sem aðalþjóðvegurinn var áður en svokölluð Vatnaleið var opnuð haustið 2001.
Sagt er, að kerlingin (skessan) í fjallinu hafi ætlað að tortíma kirkjunni að Helgafelli með steininum en misst marks. Önnur skýring er sú, að henni hafi verið í nöp við bónda í grenndinni og hafi ætlað að granda honum í bát sínum á Hrappseyjarsundi.
