Figlio di un funzionario della famiglia colonna, Giulio Raimondo Mazzarino nacque a Pescina (L'Aquila) il 14 luglio 1602. Studiò al Collegio Romano dei Gesuiti e nel 1628 si laureò in diritto canonico e civile.
Intraprese la carriera diplomatica al servizio della chiesa e fu nominato nunzio papale in Francia nel 1634, avendo così l'occasione di conoscere il cardinale Richelieu del quale divenne presto collaboratore.
Ottenne la nazionalità francese e nel 1641 fu nominato cardinale pur senza aver mai preso i voti. Il 5 dicembre 1642 Luigi XIII lo nominò primo ministro come aveva consigliato, morendo, Richelieu.
Nel 1643 Luigi XIII morì lasciando il trono al giovane Luigi XIV sotto la reggenza di Anna d'Austria e Mazzarino prese le redini della politica francese. Il cardinale affrontò con successo i problemi della Guerra dei trent'anni che era ancora in corso e della fronda della nobiltà francese e rafforzò l'autorità regia proseguendo sulla linea di Richelieu.
Con la pace di Vestfalia del 1648 e quella dei Pirenei del 1659 privò gli Asburgo dell'egemonia sull'Europa creando di fatto le premesse per la politica di Luigi XIV.
Fra le ultime azioni di Mazzarino fu la trattativa con il ministro spagnolo Luigi de Haro per il matrimonio di Luigi XIV con Maria Teresa d'Austria infanta di Spagna. Questa unione, celebrata il 9 luglio 1660, suggellò la pace tra la Francia e la Spagna raggiunta l'anno precedente con il trattato dei Pirenei.
Gravemente malato di nefrite, si spense a Vincennes il 9 marzo 1661.