Herregården Saltø tilhørte i slutningen af 1200-tallet Peder Hoseøl - Marsk Stigs svorne politiske modstander efter kongemordet i Finderup Lade i 1286. Siden hen kom gården i besiddelse hos den altid godshungrende Roskildekirke.

Ved reformationen overgik gården til krongodset. I 1646 lykkedes det Kong Christian IV's forræderiske svigersøn, Corfitz Ulfeldt at få fingre i Saltø. Ved Ulfeldts fald 1651 blev hans gods beslaglagt, og efter Svenskekrigene og enevældens indførelse 1660 overlod Kong Frederik III Saltø til Hans Ahlefeldt, amtmand i det daværende Saltø Amt.

   I 1725 blev godset erhvervet af Carl Adolph von Plessen, hvis slægt fortsat ejer godset. Gårdens hovedbygninger ligger 10 km vest for Næstved og 4 km nord for Karrebæk. Umiddelbart efter slutningen af 2. Verdenskrig foregik der et mærkværdigt arveskifte på Saltø. Den daværende ejer, Carl Ludwig von Plessen kom af dage ved et biluheld i 1948 og Saltø Gods blev derpå testamenteret til hans nevøsøn, Carl von Plessen. Denne nevøsøn var uden dansk statsborgerskab, men ved en studehandel hvorved øerne Fussingø og Kalø overgik til Den danske Stat, blev arvefølgen således legaliseret.

Karrebæk som boplads må formodes at have sin oprindelse helt tilbage til stenalderen - ja, måske endog endnu længere tilbage. Fund af rester af flinteøkser og pilespidser i området, ikke mindst langs fjordens bredder lige norden for Møllerendens udløb i Karrebæk Fjord vidner om, at der her har været beboelse rigtigt langt tilbage i tiden. Imidlertid ser vi først stednavnet Karrebæk omtalt 1231 i Kong Valdemar Sejrs Jordebog.

Ud fra måden hvorpå stednavnet står opført, sammen med Vordingborg og Tårnborg, må det formodes, at Karrebæk har haft en vis militærstrategisk betydning, og at området har været underlagt en herregård af en anseelig størrelse.

Således fremgår det da også af historiske dokumenter, at den nuværende herregård, Saltø i slutningen af 1200-tallet besad jordarealer helt frem til kysten ved Karrebæksminde Bugt og som sådan altså også de jorder, hvor Karrebæk i dag ligger.

Karrebæk Kirke er opført på et for tidsalderens landsbykirker relativt sent tidspunkt, nemlig i 1275. Stilen er unggotisk og materialet er munkesten. Kirken er i lighed med mange andre landsbykirker bygget med kirkens kor mod øst og tårnet mod vest. Den har siden hen gennemgået et par væsentlige forandringer, og det må antages at kirken fik sin nuværende form i det 15. århundrede. Om den er bygget af Saltø's ejer i 1286, Peder Hoseøl fremgår ikke med nogen særlig tydelighed. Hvad man ved er, at Karrebæk Kirke var i Saltø Gods besiddelse helt frem til 1921.
Karrebæk Mølle er bygget i 1858, på det dengang kaldte "Humlebjerg", i dag en del af Kirkebakken, og tæt på Karrebæk kirke. Møllen blev bygget til Niels Mortensen som i ca. 1870 solgte den videre til Ole Andersen, der ca. 25 år senere gik fallit med møllen. Man sagde at Ole Andersen havde haft kr. 25.000 med sig, da han overtog møllegården. I hans tid var der altid åbent hus/møllegård og mad og dram på bordet. Det kostede på den tid 33 øre at få malet en tønde korn. Møllen malede den sidste tønde korn i 1942.

Stednavnet Karrebæk har ikke en endegyldig fastlagt betydning, men man antager, at det betyder "den måde, hvorpå man fanger fisk" eller det betyder "stedet, hvor man fanger fisk på en bestemt måde". Første halvdel af ordet <Karre> betyder "kasse". Det er afledt af det tyske ord <Karre> som er en del af et sammensat ord f.eks. "Schubkarre" som betyder "skub kasse" eller rettere trillebør.   Anden halvdel af ordet "bæk" relaterer til den bæk, som løber norden om byen "Møllerenden", der gennem århundreder har tjent til afvanding af den lavt liggende Søeng og omliggende arealer.

Karrebæk Sogn fungerede som selvstændig kommune med eget sogneråd på 7 medlemmer indtil kommunalreformen i 1970. Den politiske konstellation var i Karrebæk Sogn gennem mange år 3 medlemmer fra partiet Venstre, 3 medlemmer fra Socialdemokratiet og 1 medlem fra Det konservative Folkeparti. Sidstnævnte forpagter af Saltø Gods indtil 1980,  N.F. Wissing beklædte posten som sognerådsformand gennem de sidste næsten 20 år af Karrebæk Kommunes eksistens. Som et historisk forsøg, ét år før kommunerne blev sammenlagt indgik han, som repræsentant for Karrebæk Kommune som medlem i byrådet i den kommende storkommune, Næstved Kommune.