Ferstad er ein av dei få gardane i Os som aldri har lege under Lysekloster eller andre av dei store jordeigarane. Frå 1670 og i 200 år frametter er det prestar og offiserar som har vore eigarar, og dei hadde sjølvsagt andre til driva garden for seg. Sist på 1800-talet vart det også drive pensjonat på garden.
Eldste delen av hovudbygningen er frå kring 1645, då alle husa på garden hadde brunne. Dette var før embetsmannstida, og denne bygningen var eit vanleg gardshus. Det var på 1700-talet huset fekk den herskaplege utsjånaden sin. Då vart drengestove og kårhus bygde som fløyer til hovudhuset.
Hovudbygningen er restaurert og har mange fine detaljar i interiøret.