康熙病故后，张廷玉得到雍正重用，升任内阁大学士兼军机大臣。雍正去世前，张廷玉被列为辅政大臣，允许他死后配享太庙，这是一个非常高的待遇。
乾隆继位后，对张廷玉的待遇也不错。乾隆出巡时，京城事务会交给张廷玉负责。张廷玉也一改过去雍正时期只办事少说话的作风，对乾隆皇帝，常常直接指出皇帝的错误。
乾隆三年，皇帝准备恢复一项“三老五更”的礼节，优待年老官员。乾隆继位后，想要纠正雍正时的刚猛严发风气，改以宽厚平和对待。张廷玉向乾隆上疏，表示不可。此后，张廷玉曾多次上疏，反对乾隆的意见，甚至在廷议时也是如此
与此同时，朝廷中自从鄂尔泰去世后，张廷和的势力就飞速猛涨。独占鳌头。桐城张氏在朝廷中有19人当官，张廷玉的姻亲姚氏当官的也有十多人。他又长期在中枢任职，曾多次主持科举，门生故吏极多。
乾隆六年，刘统勋甚至向乾隆上书，认为应该对这股势力稍作打压。乾隆不久后就令吏部安排人事任免时，多加考量。不过，对张廷玉，乾隆仍是非常优待，加封他为伯爵。清朝以文臣封伯爵是一个很少见的情况。
但是，事情在乾隆十四年的时候，开始发生变化。这一年的十一月，乾隆找张廷玉谈话，询问身体情况。这个时候张廷玉的身体非常差，如果无人搀扶，已经就难以正常行走。
张廷玉借着这个机会跟乾隆告病，想要得到退休的机会。乾隆听到张廷玉申请后，并没有立刻答应。而是考量一番后，才跟张廷玉发了一份谕旨，让他自主选择是否愿意退休。
张廷玉接到谕旨后，很快回复，表示自己愿意明年春天的时候退休回家。乾隆赏给他诸多财物，允许他以现任官职退休，享受相应待遇。
可是，不知道出于什么原因，张廷玉居然跑去跟乾隆确认，自己死后能够配享太庙。乾隆只好再次颁布诏书，公开表示张廷玉死后可以配享太庙。
但是，伴随诏书的还有乾隆一首诗：“造膝陈情乞一辞，动予矜恻动予悲。先皇遗诏惟钦此，去国余恩或过之。可例青田原佑庙，漫愁郑国竞摧碑。吾非尧舜谁皋契，汗简评论且听伊。”这首诗为张廷玉后来的结局，埋下了伏笔。乾隆以为，自己表现得如此大度，张廷玉就应该亲自来谢恩。
可没想到，张廷玉只派了自己的儿子来。乾隆大怒，给张廷玉发了一道谕旨表示责问。谕旨还没到，张廷玉就来谢罪。乾隆自然认为，这肯定是军机处有人泄密。如果说过去乾隆只是对张廷玉有所不满，现在则是真正触动皇帝敏感的神经了。围绕在张廷玉身边的势力，已经威胁到皇帝的权力。
在乾隆看来，这便是结党营私，万万不能忍受。乾隆大怒，召来张廷玉大骂一顿，剥夺张廷玉伯爵的伯爵爵位。不过，乾隆也说了，自己只是为了打击结党的风气，而不是针对张廷玉个人。
第二年，乾隆长子永璜去世，本来乾隆的心态就严重失衡。没想到张廷玉却在这个时候上书，想要告老还乡。这下彻底把乾隆惹怒了。这一次乾隆不再顾及张廷玉三朝老臣的身份，公开表示，张廷玉在雍正朝不过是个秘书，没什么建树，这等于是诛心之论。
乾隆召集群臣，把张廷玉配享太庙的待遇剥夺掉，让他以极为狼狈的方式退休回乡。以张廷玉曾经的地位，退休后却无人迎接，地方官不闻不问，只有家人接他回家。
张廷玉回到家乡后，莫名其妙卷入一场新的案件中。他的亲家朱荃被御史弹劾。朱荃是张廷玉提拔上来的人。
于是，乾隆借收缴当年赏赐给张廷玉财报为由，进行抄家检查，仔细查看张廷玉书信、文字，看看是不是有诋毁朝廷，心怀不满的内容。
张廷玉晚年虽然昏招频出，好在一生谨慎。但此次抄家，对张廷玉仍是一场彻底的侮辱。在此之后，他整天在家闭门不出，极少跟人说话，一个人孤独等待死亡。