До середины XIX века большая усадьба, занимавшая четыре стандартных усадебных места, со своим садом, выходившим на соседнюю Кузьминскую улицу, а также дом с флигелями и надворными постройками принадлежал братьям Степану Ивановичу и Ивану Ивановичу Игумновым, построившим Новый Казанский собор в Лебедяни. После раздела семьи дом с флигелями остался за старшей ветвью Игумновых – наследниками Михаила Степановича, владельцами лесной дачи с винокуренным заводом в восточной части уезда.
Одним из представителей этой семьи был директор городского общественного банка, потомственный почётный гражданин, купец 2 гильдии Александр Михайлович Игумнов (1835-1887). Банк, открытый в 1866 году при городской думе, пережил уже свой расцвет и к началу 1880-х годов, растратив весь свой капитал, оказался банкротом. Главным виновным в растрате было признано руководство банка и прежде всего первый директор банка А.М. Игумнов. В уплату долга (180 тыс. рублей) с молотка пошло имение и городские дома Игумнова.
Но конец XIX века был периодом экономической стагнации для всей Лебедяни. Проводившиеся в городе ярмарки к тому времени стали лишь тенью былых, шумевших на всю Россию торжищ. Цены на недвижимость постепенно упали. Большие особняки некогда богатых купцов если и покупали, то лишь для того, чтобы снова перепродать. Известно, что в конце ХIХ века дом, о котором идёт речь, был куплен купцом Улановым и позднее перепродан им купцу 2 гильдии Николаю Николаевичу Иншакову.
В Лебедяни 1910-х годов Иншаковы стали одними из самых богатых и влиятельных купцов. Н.Н. Иншаков избирался гласным городской думы, его имущество оценивалось в сумму 7190 рублей. В делах отцу всё больше помогал его старший сын Владимир Николаевич.
В 1913 году Иншаковы занимали второй этаж главного дома. На первом этаже жили служащие и находился большой продовольственный магазин. Флигели сдавались под квартиры. Во флигеле, что слева, с мезонином во дворе, в то время квартировал отставной подпоручик, земский начальник 3 участка коллежский советник Андрей Васильевич Аплаксин. Кроме жилых домов, в комплекс построек входили: кладовая, 2 навеса, 5 сараев, ледник, 2 амбара и конюшня.
Уже в первые годы советской власти муниципализированное имущество перешло в собственность уездного исполнительного комитета, впоследствии переименованного в райисполком. В 1960-х годах здание занимал горисполком (лебедянское домоуправление), позднее уступивший место редакции районной газеты «Путь Октября» (ныне – «Лебедянские вести»). С 2014 года помещения первого этажа здания занимает некоммерческая организация «Лебедянский Фонд культуры».
В апреле-июне 2017 года Лебедянский Фонд культуры, благодаря финансовой поддержке своих Попечителей — Е.А. Микрина и В.А. Двуреченских, выполнил реставрацию уличного фасада, вернув зданию первоначальный облик старинного особняка в классическом стиле.