Родом из Новгорода, с малого возраста посвятил себя на служение Богу. Принял иночество с именем Илия в основанной им самим обители.
За свою благочестивую жизнь в 1165 г. был избран архиепископом Новгорода. При нем заступлением Богоматери совершилось чудесное спасение Новгорода от нашествия суздальцев 25 февраля 1170 г. Заботясь о духовных нуждах своей паствы, построил в Новгороде семь храмов. Святой прославился и благочестивой жизнью: был весьма милостив, отличался кротостью и нелицемерной любовью.
Имел такую власть над нечистыми духами, что однажды путешествовал на бесе в Иерусалим поклониться святым местам. По злобе диавольской был обвинен в нечистой жизни и изгнан из Новгорода. Новгородцы посадили святителя на плот и пустили вниз по Волхову. Но Господь чудом вразумил их: плот поплыл вверх, против течения. Раскаявшись, люди со слезами умоляли святителя вернуться. Незлобивый архипастырь простил их и с великим торжеством возвратился на свою кафедру.
Узнав о приближении своей кончины, святитель принял схиму с прежним именем Иоанн и мирно отошел ко Господу 7 сентября 1186 г. Нетленные мощи святителя Иоанна были обретены в 1439 г.