Giovanni de'Medici, figlio di Giovanni di Pierfrancesco de'Medici detto il Popolano e di Caterina Sforza, nacque a Forlì il 6 aprile 1498.
La madre, figlia illegittima di Galeazzo Maria Sforza, era signora di Imola e Forlì, il padre era ambasciatore di Firenze presso di lei. Giovanni, che era stato battezzato Ludovico, prese il nome del padre quando questi morì improvvisamente pochi mesi dopo (14 settembre 1498).
Nel 1501 Caterina, privata della signoria da Cesare Borgia, si trasferì a Firenze dove vinse la causa per l'eredità del marito e la custodia del figlio contro il cognato Lorenzo, ma questi rapì il bambino e lo affidò al convento di San Vincenzo Annalena.
Nel 1503, morto Lorenzo, Caterina riebbe il figlio e lo allevò fino alla sua morte avvenuta nel 1509. Giovanni crebbe nella famiglia di Iacopo Salviati e Lucrezia de'Medici ai quali Caterina lo aveva affidato e divenne un giovane violento e dissoluto, difficilmente controllabile.
Quando i Medici tornarono al potere nel 1512 Giovanni intraprese la carriera militare nelle forze armate della famiglia e nel 1516 combatté come comandante di una compagnia di cavalleria la sua prima battaglia contro il ducato di Urbino. Negli anni successivi combattè al servizio del papa Leone X per ridurre all'obbedienza alcuni nobili ribelli dello Stato della Chiesa e nel 1521 partecipò all'invasione del ducato di Milano con Prospero Colonna.
Questa campagna si concluse con successo, Milano fu tolta ai Francesi e venne reinsediato Francesco II Sforza mentre lo Stato Pontificio riebbe Parma e Piacenza. Leone X morì il 21 dicembre 1521 e Giovanni lasciò le milizie della Chiesa mettendosi al servizio di Firenze, poi della Francia e infine degli Sforza.
Nel 1523 respinse gli assedianti francesi di Milano e nel 1524 sconfisse i loro alleati svizzeri. Intanto era divenuto papa Clemente VII, Giulio de' Medici, riportando in alto il prestigio e il potere della famiglia Medici e Giovanni tornò al servizio della Chiesa. Sul finire del 1524 la politica filofrancese del nuovo pontefice lo portò a partecipare con i Francesi all'assedio di Pavia. Seriamente ferito a una gamba, non partecipò alla battaglia del 24 febbraio 1525 che vide la disfatta della Francia e la cattura del re Francesco I ma le sue milizie furono disperse.
Nel 1526, quando i Colonna costrinsero Clemente VII ad uscire dalla Lega di Cognac (coalizione antimperiale formata da Milano, Venezia, Firenze e dalla Chiesa) Giovanni tornò a combattere per i Francesi. Nel novembre dello stesso anno scesero in Italia quindicimila mercenari tedeschi comandati da Georg von Frundsberg, i Lanzichenecchi. Alla testa delle milizie italiane, Giovanni tentò di fermare i Lanzichenecchi prima che superassero il Po ma il 25 novembre a Governolo fu colpito da un pezzo di artiglieria alla gamba destra. Trasportato a Mantova subì l'amputazione dell'arto ma la notte fra il 29 e il 30 novembre morì d'infezione.
Le sue truppe rimasero unite e militarono nell'esercito fiorentino fineo al 1528. In segno di lutto per la morte del loro comandante adottarono delle tracolle nere, di qui il soprannome Giovanni dalle Bande Nere anche se tradizioni molto posteriori lo attribuirono ad altre cause.
Nel 1517 Giovanni aveva sposato Maria Salviati, figlia di Iacopo Salviati e di Lucrezia de'Medici. Il loro unico figlio Cosimo divenne duca di Firenze.