Hovedhuset på Alvøen ble sannsynligvis bygget som lyststed sist på 1700-tallet, men ble tatt i bruk som helårsbolig ikke lenge etter. Anlegget ble utvidet i 1835 med stortingsmann og forfatter Hermann Foss som arkitekt, og fikk nå empirestil. Hageanlegget har et åttekantet lysthus.
Hovedbygningen, som tilhørte eierne av Alvøen Papirfabrikk, familien Fasmer, ble fredet i 1923. Huset er restaurert og modernisert av Arnesen og Darre/Kaarbøe før 1934. Bymuseet i Bergen er ansvarlig for drift og vedlikehold av bygningen, som har vært åpent som museum siden 1983.
