Усадьба купца А.С. Шарова, 1820-1880 годы