Руины Тюремного замка, XIX век