Brandasund har truleg fått namn etter ein av dei første byborgarane som fekk handelsløyve her, Jakob Brandt. I 1667 er første gongen vi høyrer om eit «kræmmersæde» i Brandasund. Eit eldre namn på staden er Gisøsund. Ved gjestgjevarstaden var det også ein skyss-stasjon. «Skaffaren» budde i nærleiken og hadde som leveveg å føra folk frå det eine kremmarleiet til det neste.
Fiskehandelen her ute ved dette rike fiskefeltet går truleg langt tilbake i tid (jfr. Torgjo), men då det vart handelsstad med kongeleg privilegiebrev her, overtok kremmaren denne handelen. I 1723 heiter det: «Paa denne Pladtz eller Øe er et Kræmersæde bevilget, som og er fornøden for Almuen der at sælge deris Fiske». Kremmaren dreiv salteri og bøkkarverksemd i tillegg til fiskemottak. Enno er det eit tett bygningsmiljø her: Hovudbygning frå tidleg på 1800-talet. «Mosesloftet» frå 1700-talet, drengestove, bakeri, bakarbustad, losjihus, stabbur, skykkje, smie, butikk, fiskefabrikk, naust og litt lenger mot nord: to store sjøhus, kornbu og saltebu.