Дом Ченцова, 2-я половина XVIII - начало XX века