A Károlyi család birtokába tartozó parkot 1932-ben nyilvánították közkertté.

A terület Budapest V. kerületében, a Ferenczy István utca – Magyar utca – Henszlmann Imre utca – Károlyi Mihály utca közötti részen található

A park tulajdonképpen az egykori Károlyi-palota kertje, a palotában ma a Petőfi Irodalmi Múzeum működik. Az ingatlan 1768-tól 1929-ig volt a Károlyi család tulajdona, 1932-től közpark funkciót lát el. A középkortól kezdve magas rangú főurak, püspökök birtokában végig kertként működött, a legenda szerint itt volt Hunyadi Mátyás vadaskertje is.

Az 1940-es években több építkezés is folyt a területen, melyek során régészeti leletek láttak napvilágot. 1944-ben egy oltómedence ásásakor a folyami homokban több csontváz is előkerült, melyeket a mellékletek a kora Árpád-korra, 10–11. századra kelteztek, tehát elmondhatjuk, hogy ezen a területen volt Pest egyik legkorábbi temetője.

1946-ban tisztázták a temető szélesebb kiterjedését is. A későbbi korokat 14–15–16. századi kerámiaedények, levágott állatok csontjai, kisebb vastárgyak jelzik, melyek egykori szemétgödrökből kerültek elő.

Gróf Károlyi Antal 1768-ban vásárolta meg a birtokot, és a díszkertet az akkor divatos angolkert mintájára terveztette meg. A kert színezett tervrajza szerencsésen fennmaradt az Országos Levéltárban.

Az idők során számos nagy jelentőségű esemény helyszíne volt a palota és a hozzá tartozó kert: itt tartóztatták le Batthyány Lajos miniszterelnököt, s a rózsalugasban tornázott reggelente Haynau tábornok. Egy 1864-ben készült helyszínrajzon láthatjuk, hogy a Magyar utca felőli keleti oldalon a sarok beépített volt, a többi részt egybefüggő zölddel jelölték.

Az 1920-as évek végén a főváros megvásárolta a birtokot, és azt „a nép akaratának megfelelően” közparkká nyilváníttatta. A Károlyi-kert a század derekáig szabadtéri koncertek kedvelt helyszíne volt, melyeket a hetvenes években a metró építési munkálatai szakítottak félbe. 1956-ban a kert ideiglenes temetőként szolgált. 1999-ben a Fekete Doboz Alapítvány Dokumentumfilm Iskolájának hallgatói „Tér” címmel kaptak vizsgafilm feladatot. Az OSA TV válogatásában elérhető a három legjobbnak ítélt film: a Károlyi kert, a Lövölde tér és a Klauzál tér.

Napjainkban a kert folyamatosan gondozott, kedvelt pihenőhely, ahol a környékbeli egyetemisták és kisgyermekes családok gyakran múlatják az időt. Szökőkutak, pompás virágágyások, árnyékot adó fák teszik még kellemesebbé az ott-tartózkodást.