Подворье впервые упоминается в 1626 и 1638 годах как принадлежащее князю Юрию Дмитриевичу Хворостинину, от внучки которого в 1671 году перешло князю Борису Голицыну – воспитателю и сподвижнику царевича Петра Алексеевича, по воспоминаниям князя Бориса Куракина «человеку ума великого, а особливо остроты, но к делам не прилежного, понеже любил забавы, а особливо склонен был к питию».
После него подворье досталось его внуку – Сергею Голицыну, начинавшему службу в Семёновском полку, служившему стольником (1717), камергером (1727), бригадиром (1732), директором Монетной канцелярии (1743), а в 1753 –1756 годах – губернатором Москвы.
В 1773 году наследники Сергея Голицына продали подворье Степану Ржевскому (храбрый и способный военный, прошедший путь от фельдфебеля до генерал-поручика; по воспоминаниям князя И. М. Долгорукого, человек острого и весёлого ума, доброго и приятного характера, способный всегда веселиться самым искренним образом), который надстраивает третьим этажом двухэтажные каменные палаты в восточном углу участка.
В 1788 году подворье приобрёл купец 1-й гильдии Тимофей Шевалдышев, фамилия которого закрепится за подворьем, несмотря на дальнейшую смену хозяев, т.к. в 1824 году он объединил несколько старых дворов на углу Никольской и Ветошного переулка и сформировал нынешние границы участка. В подворье помещались «кофейной дом и съестной трактир».
С 1846 по 1917 год подворьем владели купцы Алексеевы, при С.И. Алексееве к 1876 году был построен доходный дом, и подворье приобрело современный вид.
Исследования 1990-х годов выявили в юго-восточном углу комплекса подвалов несколько древних палат – белокаменную кладку с остатками сводов, вероятно, конца XVII века. Именно эти помещения следует отождествлять с главным домом усадьбы князя Бориса Голицына.
В советское время в здании располагались различные организации: Союзфото (Литературно-иллюстрационный фотоиздательский трест), Отдел зданий Центрального театрально-производственного комбината, Дормаштрест (Всесоюзный трест дорожного и локомотивного машиностроения), Монтажно-ремонтное бюро Союздизеля, Магазин № 3 Свердловского райпищеторга (Вся Москва. Адресно-справочная книга. Доп. выпуск к изданию 1936 г.).
На момент написания отзыва на странице https://gutadevelopment.ru/projects/working/nikolskaya-4-5/ говорится о том, что АО «ГУТА-Девелопмент» (ИНН 7708550244) реализует "строительство с регенерацией исторической среды", в рамках которого предусмотрено сохранение архитектурного оформления и восстановление утраченных элементов декора фасадов по Никольской улице и Ветошному переулку, сохранение исторических сводов подвалов, восстановление галерей и исторического благоустройства территории. После завершения работ здание будет приспособлено под современный гостиничный комплекс 5 звезд. Хотя дом уже несколько лет скрыт за фальш-фасадом, на сайте только начало строительства намечено на 2024-2025 г.