常言道：伴君如伴虎。乾隆十五（公元1750年）年八月，钦差大臣德保来到张家。张廷玉率领全家，跪在门口迎接。谁也没有想到的是，德保不但带了十多名随从，还从知府那里，借来了二百名兵丁。这二百军人事先显然准备充分，进了张家，不由分说，以查找是否还有遗漏的赏赐物为名，开箱砸锁，挖地三尺，居然抄了张廷玉的家。除了御赐的物品，德保还带走了所有文字的东西：书籍、文章、信件乃至便条。一代名臣张廷玉最后就落了这么一个下场，这一切都是为何呢？
1、表层原因：想搞文字狱。张廷玉历经三朝，位高权重，难免会知道一些皇家秘事，作为一个文臣，谁也保不住会用文字发泄发泄心情，在书信日记中品评人物，说几句牢骚话。特别是那些参与过中枢政务的大臣，返乡之后，都爱写写回忆录，记录点高层政治的秘密。这就是乾隆皇帝表层原因。
好在张廷玉却有这样做。在他的数百封私人书信中，没有一字涉及政治。在其年谱中也是详细记载了三朝皇帝对他的“恩遇”没有一字对朝政的品评，也没有一字涉及政治机密。也因此，张廷玉保住了脑袋。
2、中层原因：执政风格的改变。现在除了万历十五年，很多历史爱好者提的最多的就是乾隆十三年。这一年确实是乾隆执政的分水岭。富察皇后去世、贪腐事件爆发、金川战争不利，十三年又是老爹雍正的在位年限，这一切让乾隆皇帝彻底改变了。他不再实行宽仁的作风，开始对朝臣变得严苛起来，仅因为皇后的丧礼，乾隆就处死、处罚几百官员，甚至连自己的儿子也没放过。
早在乾隆十三年（1748年）九月，文颖馆修成了皇帝的《御制诗集》，进呈御览。皇帝翮阅一过，发现了几处错别字，勃然大怒，遂命将文颖馆总裁官张廷玉等三人“交部议处”。这是张廷玉有生以来第一次被“议处”虽然处分不重，已足使他惊心。没想到这只是个开始，之后的一年多时间内，乾隆皇帝对张廷玉退休一事多次刁难，加上张廷玉年老迟钝，更加让乾隆不痛快，还剥夺了张廷玉配享太庙的资格，几经波折，他才灰头土脸的退休。
3、深层原因：打击朋党。朋党，是所有皇帝最忌讳的词，乾隆也不例外。雍正皇帝的四大宠臣：田文镜、李卫、鄂尔泰、张廷玉。其中田文镜死于雍正十年、李卫死于乾隆三年、鄂尔泰死于乾隆十年，只有张廷玉活过了乾隆十三年，不知道是他的幸运还是不幸。
那么，张廷玉结党吗？应该没有。他一生比较清廉，对于结党营私更是极力避免。但是张廷玉历经三朝，门生故吏遍天下，即使他不主动结党，但心中依附于他的人不在少数。之前的鄂尔泰就有结党的履历，若不是他早死，可能会很惨，就这样鄂尔泰在乾隆晚期被逐出了太庙。
所以，张廷玉虽不结党，但乾隆也要让他名誉扫地，在精神上打击张廷玉。经过这场问罪，张廷玉名誉丧尽，门生故吏各寻出路，如树倒猢狲散，乾隆的目的达到了。
乾隆二十年（1755年），张廷玉病逝于原籍，乾隆皇帝做出眷念老臣之姿态，宣布宽恕张廷玉的一切过失，仍然命他配享太庙。恤典如常，谥文和。在乾隆晚年还特意作诗一首怀念张廷玉：
“风度如九龄，禄位兼韦平，承家有厚德，际主为名卿。不茹还不吐，既哲亦既明，述旨信无二，万言顷刻成。……后原与配食，遗训敢或更，求享彼过昭，仍享吾意精。斯人而有知，犹应感九京”。不知道张廷玉地下有知，作何感想。