Жилой дом священника Жданова, II половина XIX века