Stamhuset Jarlsberg hovedgård het opprinnelig Griffenfeldtgård. Griffenfeld mistet gården fordi han falt i unåde hos kong Christian den 5. Som belønning for god krigføring for danskekongen fikk den tyske baron og generalen, Gustav Wilhelm von Wedel, kjøpe gården for en rimelig penge i 1683. Wedel fikk med kjøpet både tittel, grevskapet og alle rettigheter og ble opphøyet i den dansk-norskelensgrevestand 4. januar 1684.
Johan Caspar Herman Wedel Jarlsberg ble født 21.september 1779 i Montpellier i Frankrike. Han var nesteldste sønn av Frederik Anton Wedel Jarlsberg (1748–1811) Faren var greve til Jarlsberg og dansk-norsk toppdiplomat. Blant annet var han ambassadør i London. Moren til Herman var Catharina Storm (1756–1802). Far til Herman var ingen kjærlig far og ved enkelte anledninger tydde han til vold både mot barna og konen. Foreldrene ble separert i 1797. Herman var oppkalt etter morfaren Caspar Herman von Storm, stiftamtmann i Akershus, som i sin tur var oppkalt etter sin morfar Casper Herman Hausmann. Herman rømte til sin mor i København i 1799.
Som diplomatsønn tilbrakte Wedel lite av oppveksten i Norge. Han studerte jus,statsvitenskap og filologi i København. Herman tok juridisk embetseksamen der i 1801.
Etter juridisk eksamen fikk Herman flere embeter på finanssiden i den dansk-norske statsadministrasjonen. I 1806 ble han utnevnt til amtmann i Buskerud, et embete han hadde fram til 1813. I 1807 giftet han seg med Karen Anker, datter av godseier Peder Anker på Bogstad. Da Danmark-Norge kom i krig både med Sverige og Storbritannia, ble forbindelsen mellom tvillingrikene brutt, og forsyningssituasjonen i Norge ble prekær. Wedel fikk i oppdrag å sikre kornforsyningene til Norge og foretok i den forbindelse flere farefulle reiser til Danmark. I 1808 ble han medlem av den norske regjeringskommisjonen under ledelse av prins Christian August.
Herman stiftet "Selskabet for Norges Vel" sammen med Jakob Rosted og Hans Arentz i 1809. Etter farens død i 1811 arvet han grevskapet Jarlsberg ved Tønsberg. da var godset i så dårlig forfatning at bøndene visstnok kjørte hest og kjerre tvers gjennom hovedbygningen i stedet for å kjøre rundt. Herman bygget opp Jarlsberg på ny, mye av det som i dag er Jarlsberg hovedgård fikk han bygget opp.
I 1814 ble han en samlende skikkelse i kampen mot Christian Frederiks politikk, som han så på med mistro. Wedel Jarlsberg møtte som representant for sitt grevskap på Riksforsamlingen på Eidsvoll i 1814, der han var medlem av konstitusjonskomiteen. Han ble den fremste talsmann for unionspartiet.
I 1822 ble han stilt for riksrett på grunn av et statslån tatt opp i Berlin hos bankhuset Gebrüder Benecke, men ble frikjent. Han trakk seg deretter tilbake til sitt gods Jarlsberg ved Tønsberg. I 1824 ble greven eier av jernverkene etter Peder Anker, som da besto av Bærums Verk, Fossum, Maridalen, Hakadals Verk og Moss Jernverk. Ved hans død i 1840 ble driften av jernverkene overtatt av sønnen, baron Harald Wedel Jarlsberg.
Herman Wedel Jarlsberg innvalgt på Stortinget fra 1824 til 1830, og var Stortingets president 1824, 1827, 1828 og 1830. Han var første finansminister etter oppløsningen av Regjeringsrådet i 1814 og i to perioder til 1822, i samme periode var svigerfaren Peder Anker statsminister. Wedel bygget blant annet opp Norges Bank og statsapparatet i Norge ble i stor grad utformet etter hans modell.[2] Han ble i 1836 utnevnt til stattholder i Norge med fullmakt som visekonge.
Grev Herman Wedel Jarlsberg var noe så sjeldent i norsk politisk liv som en ekte europeisk aristokrat, noe som bidrar til å forklare både hans triumfer og nederlag. Det stod nesten alltid strid om hans politikk, men han regnes som en av de viktigste politiske arkitekter for det moderne Norge. Da hans svigerfar Peder Anker døde 1824, arvet Wedel Jarlsberg Bogstad og Vækerø. Et minnesmerke over Wedel Jarlsberg ble 1845 reist på Bygdøy i Aker, utført av Hans Michelsen og bekostet av kong Karl Johan.
Kilder: "Grevens tid" av Karsten Alnæs, SNL (store norske leksikon), og Wikipedia.