Здание обсерватории, XIX век