Fyrstu skráðar heimildir um Hergilsey er að finna í Landnámu. Sonur Þrándar í Flatey, Hergils hnapprass, settist þar að og síðan Ingjaldur sonur hans. Samkvæmt Gíslasögu Súrssonar rak Börkur digri Ingjald brott úr Hergilsey vegna stuðnings hans við Gísla. Líklega hefur eyjan verið í byggð og í eyði á víxl, en árið 1783 settist Eggert Ólafsson þar að og fékk eyjuna losaða undan Flatey í skiptum fyrir Sauðeyjar, sem voru metnar að jöfnu. Síðan var búið óslitið í Hergilsey til 1946, þegar hún fór í eyði.
Heimaeyjan er ekki hvorki stór né grasgefin og heyskapur var mikið sóttur í úteyjar fyrrum eða jafnvel til lands. Hlunnindin voru stór þáttur í afkomu þessa mikla fjölda, sem byggði eyjuna um tíma. Selveiðar, kofnatekja og hrognkelsaveiði var mikið stunduð og stutt var á fiskislóð og góð lúðumið. Jarðhita er m.a. að finna í Reykey og Sandey. Eyjar og grashólmar Hergilseyjar eru u.þ.b. 30, þ.m.t. Oddbjarnarsker.
Eggert Ólafsson var merkismaður og þjóðsögn í lifanda lífi. Eins og títt var um gáfaða hæfileikamenn var hann orðaður við fjölkynngi. Hann reif sig upp úr örgustu fátækt og varð ríkur af eigin rammleik og setti spor sín í breiðfirzka sögu. Hann átti drjúgan þátt í endurlífgun verzlunar í Flatey. Hann mældi og kannaði siglingarleiðir til Flateyjar og lóðsaði skipum á þeim leiðum. Átján árum eftir að hann endurreisti byggðina í Hergilsey (1801) var íbúafjöldi eyjarinnar orðinn 60 manns á fjórum heimilum.
Í móðuharðindunum (1783-84) söfnuðust margir öreigar út í Oddbjarnarsker til að hafa ofan í sig. Eggert flutti tugi manna úr landi út í skerið (e.t.v. 70 manns), sem hann kom fyrir í verbúðum meðan húsrými entist. Síðan hvolfdi hann bát sínum, Hring, til að fá skjól fyrir fleiri og Hergilseyingar hjúkruðu og sinntu þessu flóttafólki til heilsu með matargjöfum að heiman eða beint úr sjó. Hann kom því síðan á sjó til að afla sér viðurværis. Að þessu loknu kom hann því í land aftur með óskertan aflahlut í vertíðarlok.
