Figlio di Gilberto di Borbone conte di Montpensier e di Chiara Gonzaga, nacque a Montpensier (Alvernia) il 17 febbraio 1490. Per la morte del padre e del fratello maggiore nel 1502 ereditò tutte le signorie familiari alle quali aggiunse quelle della dote della cugina Susanna figlia del duca Pietro II di Borbone che sposò il 10 maggio 1505.
La sua prima impresa militare di rilievo fu la battaglia di Agnadello contro Venezia nel 1509, combattè quindi contro gli Inglesi nel 1512 e nel 1513 e 1514 difese la Borgogna contro gli Svizzeri.
Francesco I lo nominò connestabile di Francia e gli affidò la guerra in Italia contro gli Svizzeri. Carlo ebbe parte significativa nella vittoria di Marignano (14 e 15 settembre 1515) e, nominato vicerè di Milano, rimase in Italia per difendere i confini lombardi contro le truppe imperiali.
Nel 1516 tornò in Francia e sembra che già da allora i suoi rapporti con Francesco I iniziarono a guastarsi. Alla morte di Susanna di Borbone (28 aprile 1521 ) Francesco I e sua madre Luisa di Savoia contesero al duca l'eredità. Il motivo dell'ostilità del re verso il connestabile era molto probabilmente nel fatto che i domini di Carlo, molto estesi e fra loro vicini, costituivano di fatto un reame minore all'interno del regno di Francia, cosa che la concezione assolutistica di Francesco I non poteva tollerare.
Carlo reagì alle decisioni di Francesco I prendendo accordi con l'imperatore Carlo V per invadere la Francia e poco più tardi stringendo patti simili con il re di Inghilterra Enrico VIII.
Consapevole della gravità della situazione, Francesco I tentò in ogni modo di trovare un accordo con il connestabile offrendogli il comando dell'esercito e la restituzione dei beni ma Carlo passò nell'esercito spagnolo in Italia del quale venne nominato generalissimo. Nel 1524 entrò in Provenza, occupò Aix, Tolone e assediò Marsiglia ma abbandonò l'assedio che si presentava troppo lungo e tornò in Italia dove il 25 febbraio 1525 sconfisse l'esercito francese nella battaglia di Pavia al termine della quale Francesco I fu catturato.
Nel 1526 gli furono restituiti tutti i possedimenti ma alcune promesse di Carlo V non furono mantenute. Intanto Francesco I, liberato dopo essersi accordato con Carlo V, era tornato in Francia, aveva dichiarato che l'accordo gli era stato estorto con la violenza e aveva aderito alla lega di Cognac con Firenze, Venezia, Milano e lo Stato Pontificio contro gli Asburgo.
Carlo III di Borbone occupò Milano e vi rimase fino al novembre 1526 quando unì le sue forze a quelle del generale Georg von Frunsberg comandante dei Lanzichenecchi. Il corpo di spedizione così formato contava diciottomila uomini difficilmente gestibili a causa del mancato pagamento del soldo e i due comandanti riuscirono a mantenere il controllo soltanto promettendo un ricco bottino, promessa che fu tragicamente mantenuta il 6 maggio 1527 con il sacco di Roma.
Mentre capeggiava un assalto alle mura il connestabile fu ferito da un colpo di archibugio per il quale morì dopo poche ore.
Non avendo lasciato eredii suoi beni andarono al demanio statale.
Nella sua autobiografia Benvenuto Cellini dichiarò di aver sparato il colpo che uccise Carlo III ma la notizia rimane non dimostrabile.