Дом дворян Ростовцевых, середина XIX века