Родился в Сицилии. По переселении в Грецию в пятнадцать лет ушел в Фессалоники, где принял монашество и проводил строгую подвижническую жизнь. Он отличался благочестием, трудолюбием, кротостью и пользовался любовью всей братии обители. Впоследствии преподобный был посвящен в сан пресвитера. Здесь он встретил преподобного Григория Декаполита († 816 г.; память 20 ноября/3 декабря), вместе с которым отправился в Константинополь для укрепления православных в догматах истинной веры.
Во время иконоборческой ереси за почитание и защиту святых икон преподобный Иосиф был заключен в темницу, из которой его освободил явившийся ему святитель Николай. Чудесно оказавшись в Константинополе, он вскоре построил церковь во имя святителя Николая, при ней же был основан монастырь. Во время возобновления иконоборческой ереси при императоре Феофиле (829-842 гг.) преподобный Иосиф вторично пострадал от еретиков, одиннадцать лет пробыв в изгнании в Херсоне. И в третий раз он был сослан в заточение за обличение брата царицы Феодоры († ок. 867 г.; память 11/24 февраля) Варды в незаконном сожительстве. Вернувшись из последней ссылки, при патриархе Фотии был духовником всего константинопольского клира. Имел дар прозорливости, так что знал даже тайные прегрешения.
Желая почтить св. апостола Варфоломея († I в.; память 11/24 июня) церковными песнопениями, удостоился его явления и благословения на письменные труды на благо святой Церкви. Преподобный написал 175 канонов святым, перу его принадлежат песнопения, вошедшие в Постную и Цветную триоди, в Минеи и Октоих. Святая Церковь называет его Песнописец.
Почил о Господе в 883 г.