Kaldárhöfði er bær gegnt Dráttarhlíð austan við Sogið. Þar var einn bezti veiðistaður árinnar áður en 
Steingrímsstöð var byggð.
Árið 1946 fannst eitt verðmætasta kuml úr heiðni (10. öld) hérlendis á hólmanum Torfnesi rétt hjá þessum veiðistað. Þarna voru grafin fullorðinn maður og barn í litlum báti. Meðal muna, sem voru lagðir í hauginn með þeim, var alvæpni og silungadorg. Þessi fundur er oftast kenndur við Úlfljótsvatn, þótt hólmurinn sé í landi Kaldárhöfða.
Skammt frá bænum er tótt vöruhúss Skálholtsstaðar við ferjustaðinn yfir Sogið. Ein þjóðsaga Jóns Árnasonar segir frá gíg ofarlega í Soginu, þaðan sem bitmýið við ána sé upprunnið.
