Figlio del generale bizantino Manuele Comneno Erotico, nacque a Costantinopoli intorno al 1020.
Rimasto orfano del padre in tenerissima età crebbe alla corte di Basilio II insieme al fratello maggiore Isacco, futuro imperatore Isacco I e svolse la carriera militare fino al grado di generale.
Nel 1044 sposò Anna Dalessena dalla quale ebbe otto figli fra cui Alessio I che divenne imperatore nel 1081.
Isacco I fu incoronato nel 1057 e nominò il fratello Giovanni generalissimo d'Oriente. Abdicò nel 1059 per motivi di salute e sembra che Giovanni abbia rifiutato la successione che infatti andò a Costantino Ducas.
Giovanni Comneno morì a Costantinopoli il 12 luglio 1067.