神龙元年(705年)，唐中宗李显复辟唐朝后，大肆封赏中兴功臣，其中张柬之、敬晖、桓彦范、袁恕己、崔玄暐因诛杀张易之兄弟、逼迫武则天退位等功劳，不仅全部担任宰相职务，并且都被封为郡公，一时间权势、威望无人能及，时人称之为“五公”。但让世人没有预料到的是，张柬之等人在朝中并未待多久，便全部遭遇灭顶之灾。
原来，唐中宗某次到上阳宫探望母亲时，发现她面容憔悴、披头散发，显得异常衰老沧桑，跟往昔容光焕发的形象大相径庭，不禁大为惊讶。武则天看到儿子后，便哭泣着说道：“我把你从房陵接回神都，本来就是打算要把天下托付给你，而张柬之等五贼却贪求事功，不仅把我惊动到这里，还让你落下不孝的骂名，实在是可恨啊!”
武则天画像
唐中宗听后悲愤痛苦不已，便跪在地上向母亲请罪。经此一事，唐中宗开始对张柬之等五人怀恨在心，并开始让武三思(武则天之侄)、武攸暨(武则天的堂侄，太平公主之夫)、武延秀(武则天的侄孙，安乐公主之夫)等武氏族人参与朝政，尤其是倚重武三思。而正是在武三思的连番构陷下，张柬之等人的命运急转直下。
太后善自粉饰，虽子孙在侧，不觉衰老。及在上阳宫不复栉頮，形容嬴悴。上入见，大惊。太后泣曰：“我自房陵迎汝来，固以天下授汝矣，而五贼贪功，惊我至此。”上悲泣不自胜，伏地拜谢死罪。由是三思等得入其谋。见《资治通鉴考异·卷十二》。
唐中宗在幽禁房陵期间，曾对韦皇后发下誓言，一旦自己能复辟成功，必将与其共享天下，无论她做何事都不会加以干涉。正因如此，等到唐中宗复位后，韦皇后便频频干涉朝政，并公然卖官鬻爵、迫害异己，俨然成为帝国实际上的主人。有鉴于此，武三思便不断地攀结韦皇后，不仅跟她联合作恶，还与其私通，制造了恁多的丑闻。
武三思既然与韦皇后结盟，便不断地怂恿她在皇帝面前大进谗言，极力排陷张柬之等五人，再加上唐中宗此时已对“五公”心生怨恨，所以在复辟5个月后，便解除他们的宰相职务。张柬之等人被罢相后，全都被进封为郡王，获赐丹书铁券，表面上看是莫大的恩宠，但实际上不过是皇帝诛杀他们的“障眼法”。
武三思不断地诬陷张柬之等人
果不其然，张柬之等人获封王爵后半年多时间，便被陆续外放到边远州郡做刺史，形势对他们来讲愈发不利。神龙二年(706年)三月，驸马、光禄卿王同皎因愤恨武三思专权祸国的行为，便图谋将他杀死，结果被人告发后遇害。事后，武三思诬陷张柬之5人与王同皎合谋，并说服唐中宗他们的削夺王爵和丹书铁券。
当年七月，武三思暗中命人将韦皇后的丑事进行大肆宣扬，并嫁祸给张柬之等5人，唐中宗获悉后大为震怒，下诏将他们流放到蛮荒之地，并且禁锢终身。但武三思对此并不满足，随即唆使太子李重俊，请求夷灭张柬之等人的三族，但遭到唐中宗的拒绝。
张柬之画像
武三思因为担心张柬之等人会复起，便听从心腹崔湜的建议，矫诏任命酷吏周利贞为代理右台御史，命其在途中拦截、虐杀他们。“庆幸”的是，张柬之年老体衰、恚恨成疾，刚刚到达贬所新州便病死，崔玄暐则在流放古州的途中病逝，成功地逃过周立贞的虐杀，但其他3人却没有这样的“好命”。
其中，敬晖在流放琼州的途中被周利贞抓到，被处以凌迟极刑;袁恕己在流放环州途中被周利贞追及，被逼着喝下野葛汁，毒发后疼痛难忍、以手抓地，但即使指甲磨尽仍然没有死，最终被大杖活活打死;桓彦范在流放瀼州途中被逮捕，被周利贞命人绑缚着在竹槎之上拖行，以至于皮肉都被刮掉，然后才被乱棍打死。敬晖、袁恕己、桓彦范三人死相之惨，实在是令人悲愤叹惋。
最后简单说一下加害张柬之等人的元凶、帮凶的下场。其中，武三思因与太子李重俊交恶，1年后便被灭门;唐中宗因阻碍韦皇后的女皇梦，在张柬之等人死后4年被毒死，17天后，韦皇后又被太平公主、李隆基(唐玄宗)联合诛杀;崔湜因依附于韦皇后、太平公主而数次拜相，但在太平公主夺权失败后，被唐玄宗赐死;周利贞苟活到开元初年，因敬晖之子敬让向朝廷诉冤，被唐玄宗赐死。