Stafnes var höfuðból að fornu. Þar var um aldir mikið útræði og fjölbýli á staðnum.
Konungútgerð hófst þar um miðja 16. öld og stóð til 1769. Voru landsetar af konungsjörðum
suðvestanlands skyldugir til að róa á árabátum þaðan fyrir lítil laun. Á 17. og 18. öld var Stafnes fjölmennasta verstöð á Suðurnesjum. Básendar eru skammt sunnan við Stafnes. Nokkru sunnar er Þórshöfn lítið notuð enda Básendar skammt frá. Mörg skip hafa farizt á Stafnesskerjum. Árið 1928 fórst þar togarinn Jón forseti. Þá drukknuðu 15 skipverjar en 10 varð bjargað, Slys þetta varð ásamt öðrum kveikjan að stofnun Slysavarnarfélags Íslands. Töluverð selveiði var á Stafnesi fyrr á árum.
