Fjelbergkyrkja og prestegarden låg tidlegare som sentrum i ein stor region. Fjelberg prestegjeld omfatta også Halsnøya, delar av Sveio og Bjoa i Ølen, og det var dette prestegjeldet som vart utgangspunktet for kommunane Fjelberg og Eid i 1837. Så lenge fjorden var viktigaste ferdsleåra, var Fjelberg eit naturleg midtpunkt.
Stavkyrkja på Fjelberg vart truleg bygd på 1200-talet. Tømmerkyrkja, som står i dag, vart reist i 1722. Prestegarden er omtala første gong i 1561, men det er uvisst om mellomalderens prestebustad låg på same stad som i dag. Hovudbygningen skal vera bygd i 1818 av presten A.M. Bruun, som flytta saman «to uhyggelige stuer» under eitt tak. Den eine var «Almuestuen», truleg frå 1650-åra. Midt på 1800-talet bygde sokneprest og stortingsmann Laurentius Stub Koren til fire rom på baksida. Taket vart heva og fekk pultark mot vest.
Bispestova skal vera frå 1730. Det er ein tohøgda bygning, i slekt med langlofttypen, med innkledde svaler mot tunet og i austgavlen. I ei rekkje mot nord ligg stabbur, eldhus, skykkje og uthus.
Fjelberg prestegard er i dag sett i stand som seminarstad, og arbeidsstad for kunstnarar.