明永乐六年，茹瑺除政还乡。经长沙时因谷王阴蓄异志，遂不谒。谷王传言官劾之。时重藩礼，明成祖不得已以违祖制将茹瑺下锦衣狱。茹瑺悲愤交加，知难免一死。命子茹铨市毒药服之。明永乐七年二月遂冤死于狱中。

二十年后，其没收的田庐由明宣宗下旨悉数发还，其亲属遣戌广西河池亦释还。至此，冤狱方得平反昭雪。在《明史·茹瑺传》中记载“瑺居官谨慎，谦和有容。其卒也，人皆惜之。”

茹瑺生前，有关系南岳神降生的传说即已在湘衡间流传，贩夫走卒，僧人老妪，皆有口碑。后编入《二十四史》，注有《忠诚集》。

茹瑺有三子长子茹鉴、次子茹铨、幼子茹镛。二女长适府军卫佥事王昭、次适神策卫指挥史黄隽。