当隋开皇二十年（公元600年）十一月，杨广被立为太子时，他以为自己已经取得了最后的胜利。孰若不知，一双眼睛冷峻地盯着他，游戏才刚刚开始！
其实，杨广当了太子后，日子也不大好过。这是因为，他父亲杨坚也并不完全信任他。
虽然他装出来的“节俭寡色”，但是他在一件致命的事情上犯了和杨勇同样的错误，就是结交大臣。
杨广为了夺嫡，也结交了许多大臣。其中比较出名的是宇文述和杨素。
宇文述骁勇善战，熟习弓马，这样的人物加盟杨广，当然使杨广如虎添翼。更厉害的是杨素，杨素以功封越国公，接替高颎任尚书左仆射。如何不让杨坚害怕？
杨坚的第一步棋，架空杨素：兵部尚书柳述多次在隋文帝面前弹劾杨素，同时大理寺卿梁毗也上书弹劾杨素，隋文帝于是下令杨素不必亲自处理那些细小的事务，只须三五天到官署一次，就行，表面上显示对他的尊崇、优待，实际上剥夺了他的权力。
第二步棋，重用原来太子杨勇党。兵部尚书柳述素来和废太子亲近，并为杨勇鸣不平。杨坚重用他，表达出对杨广的制约。
隋朝规定，皇子要带兵出任地方。隋文帝五个儿子，除废太子杨勇和杨广外，秦王杨俊、蜀王杨秀和汉王杨谅都带兵，这隐然成为对杨广的制约。
太子杨勇被隋文帝废掉后，杨秀对此事很有意见，曾经私下暗中搜寻杨广的罪证。杨广知道后，就暗中设计伪造杨秀魇镇杨坚的木偶，写上隋文帝、杨谅的名字，丝绳束手，铁钉穿心，埋到华山下面，然后再让杨素装模作样挖出来。
这件事一下子触怒了隋文帝，于是隋文帝下旨将其废黜。从这里便我们又一次发现，隋文帝真正忌讳的是危害自己皇权的人。
杨坚派杨谅驻扎蜀地，并与他约定，“若玺书召汝，敕字傍别加一点。”（我若召你，必在诏书敕字旁边加一个小点作为标记，否则就是伪诏）。这不足见杨坚对杨广的怀疑？杨建这么安排的目的在于什么？
大胆推测，由于杨坚“沉猜”所以很快怀疑到杨广在杨秀事件中的作用，也起了再废太子之心。那他为什么不马上废掉杨广呢？一来因为杨广一直以来表现极佳，所以杨坚苦于找不到理由；二来，杨坚发现，离了太子，就不免有人会觊觎太子位，而太子也会相应结党，一结党就触怒杨坚的最高权力。所以杨坚索性慢慢架空杨广，等到最后自己快死时废掉杨广，再改立太子。
对于杨坚的一步步动作，聪明的杨广很快就有所察觉。杨勇的前车之鉴告诉他，如果被废，不仅全力丢失，连命都会不保。为了保住太子位，更为了保命，杨广也开始反击。
仁寿四年（公元604年），杨坚患病，杨广鼓动杨坚驾临仁寿宫养病。对于此举，原太子杨勇党柳述有所警觉，找来术士以天象劝谏，没有被隋文帝采纳。但是隋文帝也不是没有警觉。驾临仁寿宫后，一切事务虽然交由太子杨广，但是却须臾不离原太子党的柳述和元岩，以防不测。而太子党的杨素则被排斥在外。
现在《隋书》都记载，杨广寄给杨素一封书信，讨论杨坚后事，结果被阴差阳错的寄到杨坚处，同时杨广调戏了杨坚的妃子宣华夫人，结果引发杨坚大怒，要废了太子，改立杨勇。这件事极蹊跷隋文帝已经病重，探讨后事并没有什么忌讳。
古代封建帝王并不忌讳后事，比如皇帝一即位就开始修陵墓就是最好的例子。那么这封书信里边到底有什么地方让杨坚的忌讳？这封书信并不是讨论老皇帝的后事，而是讨论如何能让老皇帝尽快“后事”。结果这封书信被老皇帝知道，杨广大惊之下，急速召命御史大夫张衡“了结”了老皇帝的“后事”，至于宣华夫人的桃色事件，应该是插曲。
就这样，杨广结束了隋宫长达几十年的父子斗！
封建皇帝，虽然拥有至高无上的权利，但时时刻刻谨防身边的人算计，苦不堪言！