Городская усадьба С.П.Берга, XIХ век