Родом из г. Тотьмы. Благочестивые родители воспитали его в строгих христианских правилах и любви к Богу, Которому от юности он и посвятил себя. Летом 1428 г. вместе с рыболовами Герман прибыл на поморский берег и поселился при часовне на реке Выги. Там он встретился с преподобным Савватием, монахом Валаамского монастыря, и вместе с ним переселился на пустынный Соловецкий остров. Там они построили келию, где совершали спасительный подвиг пустынножительства. В суровом воздержании преподобные Герман и Савватий провели около шести лет, после чего преподобный Савватий отошел ко Господу (U 1435 г., память 27 сентября/ 10 октября). Однако в скором времени Господь привел к Герману другого пустынника — юного отшельника Зосиму (U 1478 г.; память 17/30 апреля).
Когда на острове собралось несколько отшельников, то был основан монастырь. Более пятидесяти лет пребывал преподобный Герман на суровом и холодном острове, проводя жизнь в непрестанной Иисусовой молитве и трудах. В 1479 г. он был послан игуменом Арсением в Новгород. Там, в обители Антония Римлянина, исповедавшись и причастившись, святой мирно отошел ко Господу.
В 1484 г. мощи святого были обретены нетленными. Они положены в Соловецкой обители, правой стороны алтаря в храме святителя Николая рядом с мощами преподобного Савватия. Около 1602 г. преподобный Герман явился во сне пресвитеру Григорию, служившему в Тотьме, и повелел ему написать его образ вместе с преподобными Савватием и Зосимой и составить ему тропарь. Все, с верой приходившие к иконе преподобного Германа, получали исцеления от недугов.