Дом Гайдукова, XIX век