有人觉得李显无能，当年助他继位的张柬之、敬晖、崔玄暐、桓彦范和袁恕五人一个都保不住。实际上，“五王”虽然帮助李显复位，但他们没有料到朝中局势如此复杂多变，有多方在进行博弈，而张柬之等人根本没有足够的影响力，只能沦为棋子。实际上从某种程度来说，他们的结局可能早已被安排好了，就算他们是李显的恩人也一样，因为李显都是自身难保。当时以“五王”为首的功臣集团，在朝中依然有不少矛盾没有解决，没想通深层次的原因，便是这样一个下场。
1、和外戚的矛盾
与外戚的矛盾大家看的最清楚。武则天退位了，但还有韦皇后、安乐公主等人。武则天就像是一个标杆，让韦皇后也有了勇气，她们自然不希望大权落入“五王”手中，所以双方之间的博弈愈演愈烈，最终韦皇后一方在武三思的帮助下，占据了上风。两起冤案，让“五王”先后被贬。
2、和皇帝的矛盾
那李显为何没能起到作用呢?其实李显内心的想法，可能和大家认为的不太一样。李显之前一直活得很小心，通过神龙政变他虽然得以复位，但他明白那是因为“五王”掌控了禁军，所以才能逼武则天退位。李显不会让这样的事重演，所以一定要将权利握在自己手中，或稀释“五王”的权利。韦皇后一方能够起来，多多少少和李显故意扶持有关。
3、皇室内部矛盾
而更深层次的矛盾，其实是皇室内部的矛盾，别忘了神龙政变李旦也是参与者之一，他的手上握有南衙军。如果没有李旦的支持，配合张柬之他们行动，那这场政变也不会如此顺利。而李显心中的算盘，可能也包含了李旦的因素，所有才会对“五王”下重手，说到底，还是不够自信。而“五王”从始至终，都是棋子而已，他们缺乏左右事情发展的能力。