Hvítárvellir eru fyrrum stórbýli við bogabrúna yfir Hvítá frá 1928, þar sem þjóðvegurinn var þar til nýrri 
brúin við Borgarnes var byggð 1980. Hvítárvellir, Ferjukot og Ferjubakkabæirnir eru mestu laxveiðijarðir sýslunnar. Víða er þess getir í fornsögunum, að kaupmenn hafi verzlað í Hvítárósi og þar voru oft kaupstefnur. Hvítá var notuð til flutninga allt upp að ármótum við Þverá allt fram til 1930. Á Búðarhöfða eru talsverðar rústir, sem gætu verið fornar.
Mannskæður stórbruni varð að Hvítárvöllum 1751, þegar sjö manns brunnu inni. Margir töldu, að Hvítárvalla-Skotta hefði valdið honum. Hún lét ekki þar við sitja, heldur glettist við presta og drap fjósamenn og nautgripi. Stormhöttur var annar draugur, kenndur við Hvítárvelli, sem gætti heyja á staðnum.
Stefán Stephensen, amtmaður, sat um skeið á Hvítárvöllum. Þar sátu fleiri af hans ætt á meðan hún var valdamikil í landinu. James Ritchie, skozkur maður, fór að sjóða niður lax við ármót Grímsár 1859. Hann hóf þessa starfsemi í Borgarnesi árinu áður en flutti hana að Grímsá. Þarna unnu margir Englendingar og Íslendingar um 16 ára skeið. Þessi starfsemi teygði sig alla leið niður á Akranes. Hann notaði lítinn gufubát til flutninga. Starfsemin lagðist niður 1876, þegar keppinautar hans fóru að flytja út ódýrari, ísaðan lax.
Kanadíski baróninn og hljóðfæraleikarinn, Gauldréc de Boilleu, keypti Hvítárvelli 1898 og settist þar að. Hann tók upp meiri umsvif í búrekstri en nokkur annar hérlendis á Hvítárvöllum og byggði 40 kúa fjós í Reykjavík, sem stendur enn þá á horni Barónsstígs og Hverfisgötu. Árin eftir aldamótin 2000 (nú 2012) hefur verið 10-11 verzlun. Baróninn átti vélbátinn Hvítá, sem hann notaði til flutninga milli Hvítárvalla og Reykjavíkur. Hann byggði sér sumarbústað við Langadalsvatn. Hann hafði komið til landsins einu sinni áður og virðist hafa litizt vel á aðstæður. Hið síðara skiptið kom hann vel loðinn um lófana og ætlaði að gera hér stóra hluti. Honum varð um síðir fjár vant og leitaði á náðir brezkra banka. Baróninn framdi sjálfsmorð í Englandi 1901, þegar hann var þar á ferð til að leita að fjármagni til stofnunar ensks-íslenzks félags um botnvörpuútgerð.
Fyrir jólin 2004 gaf Þórarinn Eldjárn út bók um hinn dularfulla barón á Hvítárvöllum.
