Samkvæmt Landnámu nam Steingrímur trölli Steingrímsfjörð og bjó í Tröllatungu. Þar var prestsetur til 1886 og kirkja til 1909, sem átti rekaítök á fimm jörðum og ítök í hvalreka á 10 jörðum. Þjóðminjasafnið varðveitir gamla kirkjuklukku úr Tröllatungukirkju.
Séra Halldór jónsson, sem var síðasti prestur staðarins, og bræðurnir Ásgeir og Torfi Einarsson á Kollafjarðarnesi, stofnuðu lestrarfélag til eflingar framfara og menningar í prestakallinu með góðum árangri. Nafn bæjarins er dregið af viðurnefni Steingríms og fjallstungu milli Arnkötludals og Tungudals.
