Здание было построено в 1780 г. как жилой дом воронежского коменданта полковника А. И. Хрущова, сын которого генерал-майор И.А. Хрущов участвовал в Отечественной войне 1812 г. С 1795 по 1917 г. дом являлся официальной резиденцией воронежских губернаторов. «Дом губернатора» служил местом проведения различного рода официальных мероприятий, в его стенах побывало много известных личностей - А.В. Кольцов, Д.В. Веневитинов, И.С. Никитин. После февральских событий 1917 года особняк стал называться «Домом народных организаций». В нем размещались военно-революционный комитет, Совет рабочих, солдатских и крестьянских депутатов, Воронежский губком партии, женсовет, редакции газет, штаб рабочих дружин города и т. д. С 2007 г. в здании размещаются Областной Дом молодежи.