Karlsdráttur nefnist vogur norður úr Hvítárvatni rétt austan Norðurjökuls, sem kelfir í vatnið. Vogurinn lokast næstum af höfða fyrir mynni hans. Upp af honum er skjólsælt og sólríkt og þar hafa verið taldar a.m.k. 84 tegundir háplantna í 420-440 m hæð yfir sjó. Meðal þeirra eru engjarós, hófsóley, blágresi, hvannir, hrútaber, birki, víðir og einir.
Sagan segir, að karl nokkur frá Skálholti hafi ár hvert dregið fyrir voginn með folaldsmeri, sem hann lét synda yfir til folaldsins handan vogsins.
Þorvaldur Thoroddsen segist hafa fundið rústir veiðiskála við Karlsdrátt.