景泰三年（1452年），代宗欲废黜哥哥明英宗的皇太子朱见深，改立杭氏的儿子朱见济为皇太子。汪皇后因坚决反对废太子而被废去，之后朱见深仍被废去，代宗改立杭妃为皇后、其子朱见济为皇太子。

杭家出了个皇后，顿时满门风光。杭皇后的父亲杭昱被授予锦衣卫指挥使，哥哥授锦衣千户。但是第二年太子便夭折，年仅5岁。此后唐贵妃宠冠后宫，唐妃之父唐兴早在景泰五年就被授予锦衣百户。杭皇后渐渐被冷落，杭敏也一直未得官位。直到皇后姐姐、父亲、哥哥都相继在景泰七年病死了，代宗才授予国舅爷杭敏锦衣卫百户，正六品；而几个月后，唐贵妃的父亲升都督佥事，正二品。可见在太子和杭皇后相继死去后，杭家已渐渐失势。

霉运还没完结。又过了一年，景泰八年一月十六日（1457）明英宗朱祁镇复位， 代宗朱祁钰被废为郕王、2天后暴死。明英宗对当年代宗废去己子朱见深的太子之位怀恨在心，非常痛恨杭氏母子，因而下诏废去杭氏“肃孝皇后”之位，甚至毁坏杭氏的陵墓。不过杭妃和她的父亲、哥哥此时都已经病死，死人不知道阳间发生的变故，也就谈不上痛苦，唯有活着的国舅爷杭敏最倒霉，被削去官职遣送回乡。杭氏一族再也没有翻身，尊荣的往昔只剩回忆。

总之，明朝有很多外戚因女贵而显赫终身，杭敏却和唐贵妃的父亲唐兴一样，运气太差。