Før jernbanebygginga kunne ta til, måtte det byggjast anleggsvegar frå Voss, Flåm og Geilo fram til alle avsnitt av anlegget. Dette vart i røynda ny kjøreveg frå Palmafossen til Uppsete og frå Flåm til høgfjellet, i alt 122 km. I anleggstida vart det frå april/mai til oktober dagleg kjørt 70-100 hestelass til fjells.
Det største arbeidet var Gravhalstunnelen, som vart tyngre enn ein hadde rekna med, fordi fjellet var så hardt (gneis). Her arbeidde dei på 3 skift veke etter veke i 6 år. Austsida hadde dei planlagt å handbora 1,6 km, men då framdrifta gjekk for seint, sette dei inn lufttrykkbor med elektrisk kraft frå Kjosafossen.
Lina Voss-Myrdal vart opna for drift sommaren 1906. Frå juni 1908 vart strekninga Voss-Gulsvik trafikkert. Onsdag 24. november 1909 kjørte det første passasjertoget frå Bergen heilt fram til Oslo. Den samanhengjande jernvegen Bergen-Oslo vart høgtideleg opna av Kong Haakon 27.11 1909. Rallarane kom frå heile landet, òg frå Sverige og Finland. Første fagforeininga på Voss var «Fram», foreininga for rallarane.
Skjeringar, fyllingar og tunnelar burde få oss til å stansa og tenkja over slitet som her er lagt ned. Trykkluftboring var berre nytta i Gravhalsen. Elles er kvart einaste borehol handbora.
Damplokomotiv drog mest alle tog over fjellet fram til 1957. Skiftet til diesel skjedde dei neste to-tre åra. Frå 1964 var heile Bergensbanen elektrisk driven. Då Bergensbanen var ny, vart banen rekna for eit meisterverk i ingeniørkunst og eit nasjonalt storverk.
På fjellet kan ein sjå det imponerande arbeidet som er gjort med vegen, med murar og bruer. I dag er Rallarvegen mykje nytta til sykkelturar.