Рябкинская Успенская мужская пустынь, основанная в начале XVIII века, является уникальным духовным памятником Пензенской земли. Ее создание пришлось на период с 1710 по 1713 год, когда старец Изосима с братией обустроил обитель на месте кельи инока Герасима на реке Рябке. Уникальность обители заключалась в соседстве с промышленной жизнью: в 1719 году купцы Миляковы возвели здесь железоделательный завод и рабочий поселок (ныне с. Старая Рябка). В 1764 году монастырь закрыли, церковь Успения Божией Матери с приделами Архистратига Михаила и Николая Чудотворца стала приходской, а монахи переведены в Троице-Сканов монастырь.
В первые десятилетия пустынь была бедной. Храм находился в захудалом состоянии, служил приглашенный «белый поп» с дьячком. Изначально общину составили выходцы из краснослободских монастырей. Сначала обитель называлась просто Рябкинской, так как имела лишь часовню. В 1716 году началось строительство деревянного храма в честь Успения Пресвятой Богородицы, освященного в 1718 году. Митрополит Стефан Яворский утвердил штат в 31 человека. Материальные затруднения вынуждали братию сдавать в аренду земли заводчикам Миляковым. Заводовладельцы помогали монахам: содержали их, украшали храм и приобретали утварь.
Из документов 1722 года известно, что Миляковы построили завод на наемной земле пустыни. Шум производства отпугнул многих иноков, и к 1724 году штат сократился до 12 чернецов. Историк А. Л. Хвощев удивлялся, как пустынь уцелела при уничтожении малобратственных обителей в 1720–1730-х годах. Спасение пришло от Миляковых: они вызвались возвести каменную церковь. 17 сентября 1727 года И. В. Миляков подал в Синод прошение о строительстве каменного храма вместо ветхого деревянного. К 1731 году обещание было выполнено. Однако кадровые проблемы сохранялись: к концу 1730-х в братстве не осталось иеромонахов.
Указ 1764 года о ликвидации монастыря на Рябке лишь юридически закрепил реальное положение дел. Обитель, признанная маломощной, была упразднена. Каменная Успенская церковь перешла к приходу деревни Рябки, получившей статус села. Монашеская жизнь прервалась, уступив место приходскому укладу вплоть до революционных потрясений XX века.
Кирпичная церковь в стиле барокко была построена в 1730-х годах при поддержке Миляковых. В 1872 году пристроена трапезная с приделами. В первозданном виде храм не дожил до наших дней: после 1917 года он был серьезно разрушен, центральная часть и колокольня полностью уничтожены к 1930-м годам. Уцелела только трапезная. В 1999 году она была отремонтирована и освящена как храм Михаила Архангела. Сегодня ведутся восстановительные работы. Для обеспечения современного функционирования и безопасности были грамотно спроектированы и внедрены современные инженерные системы, что стало важнейшим этапом в возрождении святыни. Предстоит замена окон и дверей, отделка помещений, восстановление приделов и колокольни.
История сохранена в трудах А. Л. Хвощева (1902–1903), И. Беляева (1868), В. и Г. Холмогоровых (1890) и С. Б. Бахмустова «Монастыри Мордовии» (2000).