Petter Olsen er sammen med broren Fred. Olsen arvinger etter Thomas Olsen, som ved siden av rederiet Fred. Olsen eide Akers Mekaniske Verksted. Fred. førte rederivirksomheten videre etter farens død, mens Petter etter flere rettssaker ble tilkjent eiendomsretten til familiens kunstsamling, med mange verker av Edvard Munch, som hadde landsted på Nedre Ramme, rett ved Olsen-familiens hovedsete i Hvitsten.
Petter og Fred. Olsen ble i 1996 kåret til Norges rikeste med en formue på 4,5 milliarder kroner. I dag er det ikke mye igjen av lillebrors rikdom. De siste tiårene har han brukt alle sine midler på å bygge opp Ramme gård, først med økologisk landbruk, deretter med en storstilt oppbygging av stedet som et kulturmål, med oppføring av en rekke bygninger i klassisk stil, et barokkhageanlegg, utendørs amfiteater, et underjordisk, moderne museum med plass for den rikholdige kunstsamlingen og et hotell med 42 rom, innredet med antikviteter og kunst. I fjor åpnet den restaurerte Villa Munch. Bostyrer Leif Petter Madsen sa i skifteretten denne uka at Ramme gård har kostet 1,7 milliarder kroner. Olsen har tidligere solgt Munchs «Skrik» for å finansiere prosjektet, men det som førte til hans fallitt, var Skatteetaten, som avviste at han hadde rett til fradrag for inngående moms, fordi investeringen var så stor at prosjektet aldri ville gå med overskudd. Det endte opp med et krav om tilbakebetaling av 115 millioner kroner. Da Olsen var i ferd med å komme til en avtale med sine kreditorer, dukket det opp nok et skattekrav, nå på 236 millioner kroner. Alle kreditorene var villig til å akseptere Olsens plan for rekonstruksjon, men Skatteetaten sa nei. Det er derfor ikke så rart at Olsen føler seg forfulgt av skattemyndighetene.
Finansavisens redaktør Trygve Hegnar skriver at det som førte til Olsens fall, var «en katastrofal feilinvestering i Hvitsten, nær Drøbak». Det kan man selvfølgelig si, men oppbyggingen av Ramme gård er samtidig et eksempel på et storstilt og ærgjerrig prosjekt, der Petter Olsen har brukt alle sine penger – og enda litt til – på å bygge opp et sted av stor nasjonal og kulturell betydning. Til tross for rederarvingens fallitt håper vi det er mulig å holde kunstsamlingen samlet og videreføre Ramme gård som det kulturelle minnesmerket det er.