Подвизался в египетской скитской пустыне в первой половине V века в монастыре преподобного Пимена Великого († ок. 450 г.; память 27 августа/9 сентября). Отличался кротостью, смирением и необыкновенным послушанием. Вначале Иоанн подвизался без духовного руководителя, но Господь вразумил его, что строгие подвиги необходимо исполнять под наблюдением опытного в духовной жизни старца. И преподобный Иоанн пришел к преподобному Пимену, известному твердой и непреклонной волей, и, прося руководства, обещал во всем повиноваться.
Испытывая терпение молодого инока, св. Пимен дал ему необычное послушание. Три года преподобный Иоанн носил воду и поливал совершенно сухое дерево, которое покрылось листвой, зацвело и дало обильные плоды. Сам преподобный Пимен назвал его «древом послушания».
Достигнув совершенства, преподобный Иоанн впоследствии сам был руководителем многих: его учеником был преподобный Арсений Великий († 449-450 гг.; память 8/21 мая), он вернул ко Христу преподобную Таисию Младшую (V в.; память 10/23 мая). Святой известен как писатель, составивший житие преподобного Паисия Великого (V в.; память 19 июня/2 июля). Преподобный Иоанн мирно почил о Господе в 422 г. (по другим источникам, в 430 г.). После него осталось много мудрых изречений.