Родом из Никополя Армянского. На средства, доставшиеся ему после смерти родителей, построил храм и при нем монастырь, где в 18 лет принял иночество. За добродетельную жизнь в 28 лет был поставлен во епископа Колонийского. После десятилетнего управления паствой тайно удалился в обитель преподобного Саввы Освященного (✝ 532 г.; память 5/18 декабря) и под видом простого монаха служил на поварне и в странноприимнице. Намерение преподобного Саввы сделать его пресвитером заставило Иоанна открыть свой сан и удалиться в затвор.
На пятидесятом году своей жизни для большего уединения и сугубого воздержания преподобный поселился в пустыне Рува. Во время нашествия сарацин святому служил лев, охраняя его. По просьбе преподобного Саввы преподобный Иоанн вернулся в лавру. Во время возникновения ереси Оригена св. Иоанн защищал чистоту Православия. Неустанным иноческим подвигом, неусыпной молитвой, смиренномудрием стяжал Иоанн благодать Святого Духа: по его молитве совершались многие чудеса, тайные мысли людей были для святителя явными, он исцелял больных и бесноватых, еще при жизни своей спасал от неминуемой гибели призывавших его имя. Преподобный Иоанн Молчальник с миром отошел ко Господу в 558 г. в возрасте 104 лет.