西郷家は、会津藩松平家譜代の重臣で、代々家老職を勤めた。幕末期の当主・西郷頼母近悳（さいごうたのもちかのり）は、会津藩の安泰を願い、松平容保の京都守護職就任に反対していたが、その箴言は容れられなかった。新政府軍（西軍）の会津攻撃が間近になると、頼母は新政府軍への恭順を説いたが、これも却下されて謹慎。その後籠城と決まり頼母も登城したあとに、屋敷に残された頼母の一族２１人が虜囚の辱めを受けることを潔しとせず、自害して果てた。

この日頼母邸で命を絶ったのは、頼母の祖母・冬子、母・律子、妻・千重子、妹・眉寿子、次妹・由布子、長女・細布子、次女・瀑布子、三女・田鶴子、四女・常盤子、末女季子、その他当日西郷邸に居合わせた律子の実家小森一貫斎の家族５人、分家西郷鉄之助・きく子夫妻、縁類の軍事奉行町田伝八・ふさ子夫妻とその家族１人、朱雀３番中隊半隊頭・浅井新次郎の妻たつ子と長男・彦の母子、および西郷家用人森喜左衛門。
（この段、旺文社『会津戦争』（編者・旺文社）より）

この西郷邸のほかにも多くの武家で、残された家族が自刃する同様の悲劇が相次いだ。
西郷邸は「会津武家屋敷」に復元され、当時の家老屋敷のようすをうかがい知ることができる。