Происходил из древнего благочестивого рода, с детства был обучен чтению Божественного Писания, и воспитан в страхе Божием. В 25 лет он поступил в Волоколамский монастырь, где принял постриг от игумена Гурия, впоследствии св. архиепископа Казанского († 1563 г., память 5/18 декабря). В монастыре святой занимался изучением Священного Писания и книгописанием.
В 1555 г. после покорения Казани царем Иоанном Грозным, Герману суждено было начать миссионерскую деятельность для язычников, населявших правый сберег Волги. Он был назначен настоятелем обители Успения Пресвятой Богородицы в Свияжске, которая под его мудрым руководством сделалась сосредоточием христианской проповеди, веры и благочестия в магометанской стране. Святитель Герман ревностно занимался строительством православных храмов, просвещением язычников в христианской вере. Им было собрано 150 книг. По смерти святителя Гурия святитель Герман достойно был призван на архиерейскую кафедру.
Когда царь Иоанн Грозный повелел назначить его на Московскую митрополичью кафедру, святитель Герман отказался и, верный своему пастырскому долгу, не устрашился вразумить царя, призывая к покаянию, обличая его. За это он около двух лет пробыл в заключении в Москве. Он один поднял искренний голос за святителя Филиппа, когда царь требовал его осуждения, хотя и сам святитель Герман был в опале. В 1567 году 6 ноября он умер, полагают, что опричники были его убийцами. Погребен в церкви святителя Николая. Через 27 лет были обретены его святые мощи и перенесены в Свияжский монастырь.