Это построенный в 1880 г. особняк купца Казакова, деятельность которого была связана с продажей рыбы. В 1957 гг. на здании надстроили два верхних этажа, которые контрастируют с нижними этажами купеческого особняка XIX в., изменили планировку существующих комнат и залов, убрали балкон. При переоборудовании здания под нужды лечебницы в нем нашли тайник с драгоценностями, стоимость которых составляла миллион рублей.
В наши дни в бывшем особняке Казаковых размещается Рыбинская больница Приволжского окружного медицинского центра. Ранее ее называли линейной больницей водников. Пять старинных зеркал, изготовленных свыше 150-ти лет тому назад, украшают холлы больницы. На одном из них есть монограмма – переплетенные буквы Н и А, инициалы одного из бывших владельцев дома, купца Николая Алексеевича Казакова. Состояние фасада оставляет желать лучшего, но место атмосферное.