Епископ Иеремия, в миру Иродион Иоаннович Соловьев, родился 10 апреля 1799 года в селе Георгиевское Ливенского уезда Орловской губернии. Сын причетника Иоанна Яковлевича и его жены Марии, он обучался в Севском духовном училище с 1810 года. По окончании Севской духовной семинарии в 1819 году преподавал греческий язык в Севском духовном училище. Ему было предложено священническое место в городе Болхове и дано благословение на вступление в брак, но, по собственной просьбе, Иродион был определен в Брянский Печерский монастырь. Затем его направили в Санкт-Петербургскую духовную академию для продолжения образования.
21 ноября 1824 года Иродион принял монашество с именем Иеремия, а 25 декабря того же года был посвящен в иеродиакона. В 1827 году, 14 августа, рукоположен в иеромонаха. В академии он проучился три года, но, по смирению своему, отказался от академической степени; был некоторое время учителем певчих епископа Рязанского Филарета, а потом законоучителем 2-го Кадетского корпуса в Санкт-Петербурге. В 1828 году иеромонах Иеремия был причислен к соборным иеромонахам Санкт-Петербургской лавры. В 1829 году перемещен бакалавром Санкт-Петербургской духовной академии по богословскому классу.
4 сентября 1830 года Иеремию перевели в Киев, где назначили на должность инспектора Киевской духовной академии. 5 октября того же года он был посвящен в сан архимандрита в Александро-Невской Лавре. В 1834 году он стал ректором Киевской духовной семинарии, членом Консистории и настоятелем Киево-Выдубецкого монастыря. Кроме того, с 1832 по 1840 год Преосвященный инспектировал Орловскую и Воронежскую семинарии с их училищами, монастыри Киевской епархии, Волынскую духовную семинарию, Херсонскую семинарию в Одессе и Кишиневскую в Бессарабии, председательствовал в комитете по устроению Киево-Софийского духовного училища. За свои труды в 1836 году причислен к ордену святой Анны 2-й степени. В 1838 году был определен настоятелем Киево-Братского монастыря, в 1839-ом — ректором Киевской духовной академии.
В марте 1841 года Иеремия был хиротонисан во епископа Чигиринского, викария Киевской митрополии митрополитом Киевским Филаретом, а в 1843 году перемещен на Кавказ в новоткрытую епархию — епископом Кавказским и Черноморским. 19 марта 1843 года Преосвященный прибыл в Ставрополь. Здесь за годы своего правления он устроил архиерейский дом, учредил и открыл Духовную семинарию, пожертвовав на это из своих средств до 8500 рублей. При нем был сооружен и освящен новый кафедральный собор, благоукрашен старый Троицкий собор, выстроено и освящено 12 церквей, включая домовые (при архиерейском доме, в военном госпитале, в тюремном замке и при губернской гимназии). В память своих родителей, Иоанна и Марии, преосвященный Иеремия устроил Иоанно-Мариинскую женскую обитель, ставшую впоследствии второклассным монастырем, со всеми хозяйственными службами, при двух каменных церквях. Заботами Иеремии был построен большой двухэтажный каменный дом для общежития бедных детей кавказского духовенства. В 1845 году Преосвященный получил орден святой Анны 1-й степени, а в 1848 году и орден святого Владимира 2-й степени.
В том же году Владыка подал прошение об увольнении на покой, но в декабре 1849 года его назначили в Полтавскую епархию, а в 1851 году — в Нижегородскую, куда он и прибыл 14 февраля.
В течение шести с половиной лет он управлял Нижегородской епархией, ревностно исправляя жизнь духовенства, отечески заботясь о сиротах и бедном духовенстве. Капитал Общества попечительства о бедных духовного звания при нем достиг 85 тысяч рублей.
Заботился Преосвященный и о внешнем устройстве епархии; при нем было основано несколько нижегородских церквей: Троицкая на Старой Сенной и Трехсвятительская на Новой Сенной площадях. Он внес вклад на основание церкви при Нижегородской мужской губернской гимназии.
11 июня 1857 года Преосвященный был, по прошению своему, уволен на покой в Нижегородский Печерский первоклассный монастырь, с пожизненной пенсией в 1000 рублей, с правом пользования лучшим помещением, с отоплением, нужной прислугой и экипажем на выезде во всякое время.
В 1860 году преосвященнейший Иеремия принял схиму с именем Иоанна, в память своего родителя. На покое он жил в Городецком Феодоровском монастыре, а в последние годы жизни — в Нижегородском Благовещенском монастыре. 27 лет он прожил на покое, в уединении, не переставая следить за церковными и гражданскими событиями в России. Все эти годы он по-прежнему помогал учебным заведениям и сиротствующему духовенству. Скончался в возрасте 85 лет, 6 декабря 1884 года, и был погребен в Благовещенском мужском монастыре, в Алексеевской церкви.
По отзывам биографов-современников, преосвященный Иеремия был одним из высочайших архипастырей: благочестив и смиренномудр, строг и справедлив, прозорлив и высокообразован, а в отшельничестве отличался большими подвигами.
