Figlio di Leopoldo II, nacque a Melk nel 1073.
Nel 1095, alla morte del padre, divenne margravio d'Austria e nel 1106 sposò Agnese di Waiblingen, vedova di Federico I di Svevia e madre di Corrado III.
Questo matrimonio rafforzò il prestigio del Babenberg, tanto che nel 1125, alla morte di Enrico V, Leopoldo fu fra i possibili successori al trono imperiale anche se rinunciò volontariamente alla candidatura.
Pacifico e profondamente religioso, arrecò ricchezza e benessere ai propri territori e fondò numerosi monasteri fra i quali quello di Klosterneuburg, nel quale riposano le sue spoglie.
Morì il 15 settembre 1136, fu canonizzato nel 1485 e nel 1663 dichiarato patrono d'Austria.
Da un primo matrimonio aveva avuto un figlio di nome Adalberto, da Agnese nacquero: Enrico II di Babenberg, Leopoldo IV, Berta, Agnese, Ernesto, Ottone di Frisinga, Corrado arcivescovo di Salisburgo, Geltrude e Giuditta.