Руины храма в честь великомученика и победоносца Георгия, XX век