Дом Виноградовых, XIX век