Дом В.Г. Грахова, II половина XIX века