虽然得到成帝的谅解，但见赵氏姐妹在宫中气势逼人，妒性日隆，班婕妤自知留在后宫凶多吉少。（她是饱学之“士”，自然心明如鉴。）为躲避赵氏姐妹的迫害，班婕妤主动提出到长信宫待奉王太后。深宫寂寂，岁月悠悠。追思往昔，班常悯繁华之不滋，藉秋扇以自伤。公元前7年，汉成帝死，班婕妤按王太后的指令到成帝陵守墓，从此天天陪伴石人石马，听松风天籁、看香烟缭绕，一年后忧郁而终，年仅42岁。
退出增成舍宫、庇荫于王太后之时，班婕妤曾经写了那首著名的《怨歌行》即《团扇歌》：
新裂齐纨素，皎洁如霜雪。
裁成合欢扇，团团似明月。
出入君怀袖，动摇微风发；
常恐秋节至，凉魔夺炎热；
弃捐筐简中，恩情中道绝。

这首诗真实形象地表达了班婕好从受宠到失宠的失落情感。“秋凉团扇”自此成为女性失宠的典故，（又称“班女扇”。王昌龄《长信秋词》中有：“奉帚平明金殿开，且将团扇暂徘徊”等句；又李嘉佑《古兴》诗中云：“奠道君恩长不休，婕妤团扇苦悲秋。”都是说的班婕妤的故事。
班婕妤之后，《团扇歌》成为幽怨情歌的主旋律，桃叶、谢芳姿，包括张洁、刘禹锡等，都有类似作品。）除“班女扇“外，班婕妤还有一个典故常被后人提及，这件事真实说明了班婕妤失宠的主要原因及身为皇帝的刘骜的格调。一次，成帝在后庭游览，邀班婕妤同乘御车。这在一般媵妾，是做梦都难盼到的美差。班氏却婉辞谢绝说：妾“观古图画，贤圣之君皆有名巨在侧，三代末主乃有壁女，今欲同辇，得无近似之乎？”
（《汉书·外戚传·班媳妃》。）大意是说：“皇上，你看古代留下的图画中，那些圣贤之君旁边，坐的可都是些名臣呢。只有夏、商、周三代的末主夏桀、商纣、周幽王，才以壁体的妃子陪在身边。如果侍妾和皇上同车出进的话，岂不就跟她们相似了么？”虽然坏了汉成帝的兴致，但在王政君老人家听来却十分顺耳：“古有樊姬，今有班婕好。”（不是不识好歹，实在是太想成为牌坊了。）

赵飞燕姐妹属于“不世出”的罕见尤物。班婕好生不逢时，不幸与赵氏姐妹何奉同一个男人，其失宠是必然的。班婕好的特点是温柔谦和，贤淑恃才，缺乏浪漫。论容颜她比不过赵氏姐妹的妖娆，更不会媚惑术。
在赵氏姐妹未登场时，她的专业特长还能派上用场。（班氏精通文史，常常引经据典，疏导汉成帝内心的积郁；又擅长音律，令汉成帝在丝竹声中物我两忘。）对汉成帝而言，班婕妤既是侍妾，又是书友。因而对她宠爱有加。然而，随着赵氏姐妹的入宫，她的噩梦也开始了。
班婕妤到底是博览群书的聪明人。（再不怎么读书，戚夫人的故事总该知道。）她虽不善于争宠，却知道如何避祸。在赵氏姐妹独宠后宫的岁月里，她能保持“善终”，也算是一件幸事。
许后被废，成帝急着想立赵飞燕为皇后。王政君觉得赵飞燕出身卑贱，不配母仪天下，有损皇家脸面子，众大臣也纷纷附和。成帝不敢违背母后的意愿，暗中请母后最得意的外甥淳于长出面游说。永始元年（前16），朝廷封赵飞燕的养父赵临为城阳候侯，赵氏姐妹摇身一变为王侯之女，王太后这才允诺立飞燕为后，合德为昭仪。