Figlio del duca Gian Galeazzo Visconti e di Caterina Visconti, nacque a Milano il 3 settembre 1392, soffriva di rachitismo ed altri difetti.
Alla morte del padre, nel 1402, ereditò la contea di Pavia mentre il ducato di Milano andò al fratello maggiore Giovanni Maria sotto la reggenza della madre. Nel 1404 Giovanni Maria, istigato dal condottiero Facino Cane, confinò nel castello di Monza la madre Caterina che morì dopo due mesi.
Nel 1410 Facino Cane occupò Pavia dove Filippo Maria viveva con modesti mezzi, ma il condottiero morì nel 1412 e Giovanni Maria fu ucciso pochi giorni dopo lasciando a Filippo Maria il titolo di duca.
Filippo Maria sposò Beatrice di Tenda, vedova di Facino Cane, che gli portò una ricchissima dote e la fedeltà delle truppe di Facino. Nel 1418 montò un'accusa di adulterio contro Beatrice e la fece giustiziare nel castello di Binasco.
Filippo Maria prese al suo servizio i conottieri Niccolò Piccinino, Francesco Sforza e il Carmagnola con i quali recuperò i perduti domini del padre: Como, Lodi, Piacenza, Cremona, Bergamo e Brescia. Nel 1421 occupò Genova e territori piemontesi sconfiggendo gli Svizzeri nella battaglia di Arbedo.
La crescente potenza viscontea preoccupò i Fiorentini che si schierarono con i Malatesta opponendosi a Filippo Maria mentre Venezia, al cui servizio era passato il Carmagnola, sconfisse le truppe del Visconti nella battaglia di Maclodio riprendendo Bergamo e Brescia con la pace di Ferrara del 1428. La seconda pace di Ferrara, firmata nel 1433, chiuse le ostilità tra Filippo Maria e le forze alleate di Firenze e Venezia confermando le decisioni del 1428.
Filippo Maria intervenne in aiuto di Renato d'Angiò contro gli Aragonesi nelle lotte per la successione del regno di Napoli dopo la morte di Giovanna II. Nel 1435 le navi genovesi sconfissero la flotta catalana e catturarono Alfonso d'Aragona che, condotto a Milano, strinse alleanza con il Visconti. Genova si ribellò e insieme a Venezia e Firenze riprese la guerra contro Filippo Maria le cui forze, comandate da Niccolò Piccinino, dopo veri scontri furono sconfitte a Anghiari.
Nel 1441 Francesco Maria firmò la pace di Cavriana ma poco doo si alleò con il papa e con gli Aragonesi contro Francesco Sforza che aveva dalla sua parte Firenze e Venezia. Prima che i due schieramenti entrassero in guerra, Filippo Maria morì il 13 agosto 1447.
Si sposò due volte, nel 1412 con Beatrice di Tenda, nel 1427 con Maria di Savoia ma dai suoi matrimoni non nacquero eredi. Ebbe due figlie dall'amante Agnese del Maino, la prima morì neonata, la seconda fu Bianca Maria Visconti che sposò Francesco Sforza.