刘备在白帝城托孤时，将刘禅全权托付给了诸葛亮，同时把李严当做是诸葛亮的帮手。当时刘备亲自封李严为都护，并统领国家内外的军权，并继续镇守永安，这说明，刘备将军事大权交给了李严来主管。北伐途中，李严诬告诸葛亮谋反，但是很快就被诸葛亮斗败，并且最终被流放，一直到死都没有被任用。那么同是托孤大臣，李严为何斗不过诸葛亮呢？
公元231年，诸葛亮带领蜀军正在进行北伐，而大臣李严则是负责在大后方筹集运送粮草。此时的李严为了制造出蜀军在前线作战不利的一种假象，李严先是让人写了一封书信送给了诸葛亮，称因为天气不佳的原因，导致了粮草不能按时送达。在接到这封信以后，诸葛亮只能选择无奈撤军。
而李严在得知了诸葛亮已经撤军的消息以后，立刻先杀了督运粮草的官员为自己顶罪，随之他又上报刘禅，称蜀军在前方失利。但是谁也没有想到，诸葛亮一直都留着李严命人送到前线的书信，就在诸葛亮班师回朝以后，李严的这个诡计终于是暴露了。此时的诸葛亮十分气愤，而蜀汉的诸多臣子也是联名上奏要弹劾这个奸臣，最后李严被罢了官，也被贬为了庶人。
史料上记载的，是李严自己作死被废掉。他作死的事情主要有三点：
一是建兴（刘禅的第一个年号）四年，诸葛亮准备北伐的时候，调李严到汉中去防守，李严不去，还要求诸葛亮把五个郡合成一个巴州，让他当巴州刺史（那时候他本身是江州刺史）。
二是建兴八年，当曹魏大将军曹真三路大军进攻汉川的时候，诸葛亮再调李严前往驰援，他不去，说走了曹魏司马懿会趁虚而入。后来诸葛亮让他儿子负责江州防务，并升他为骠骑将军，他才去了。
三是建兴九年，诸葛亮北伐的时候，李严负责粮草押运，因道路泥泞，他怕误期受处罚让诸葛亮退兵。诸葛亮退兵后，他又在刘禅面前说，粮草很充足，不知道诸葛亮为什么会退兵？诸葛亮把李严的信给刘禅看，并趁机弹劾他。结果刘禅把他废为庶人。
史料虽然记载李严是自己作死被废掉的。不过，有一件事百思不得其解：明明刘备是把军队交给李严的，为什么最后成为诸葛亮统兵了呢？
刘备在夷陵之战失败，退守永安后，由于身体每况愈下，因此他开始考虑安排后事的问题。在这些考虑中，有一项重要的举措，就是把李严从犍为太守的职位上，调到永安，担任尚书令。尚书令在东汉及三国时期，还不完全是宰相，但因为直接执行皇帝的命令，因此和宰相也差不多。刘备让李严担任尚书令，就是考虑将来托孤诸葛亮的同时，再托孤给李严，用李严来制衡诸葛亮，避免诸葛亮一枝独大，成为权臣。
我们再来看，刘备去世后，本来被刘备安排掌管军队的李严，是如何失去军队指挥权的。李严掌管军队，刘备给他的职位是中都护。“都”是全部的意思，“护”是带兵监护的意思，因此“中都护”就是掌管内外所有的军队。但是，刘备去世以后，发生了一件事，就是按《三国志》的记载：“牂牁太守朱褒拥郡反。先是，益州郡有大姓雍闿反，流太守张裔於吴，据郡不宾，越隽夷王高定亦背叛……”也就是说，蜀汉差不多有一半的国土都已经造反了。