借病乞归
延祐六年（1319年）四月，因管夫人病发，赵孟頫得旨还家，于二十五日离开大都。五月十日，管夫人逝于临清舟中，赵孟頫父子护柩还吴兴。同年冬，爱育黎拔力八达又遣使催他回朝，最终因病未能成行。
至治元年（1321年），元英宗孛儿只斤·硕德八剌遣使到赵孟頫家中，命他书写《孝经》。
他后半生向往佛法，一直在学参透。遇到人生变故，他就给中峰和尚写信，说我想看透，就是看不透，心还会痛。
1311年，他的长子赵亮陪他进京，受寒病倒而逝，他已经痛过一回。他信里说：
虽明知幻起幻灭，不足深悲，然见道未澈，念起便哀。
1318年冬，与他志同道合的妻子管道升在京脚气病发作时，他坚决要求辞官还乡。不幸的是，管道升次年病逝于他们离京返乡的旅途中。他在给中峰和尚的信中说：
孟頫自老妻之亡，伤悼痛切，如在醉梦，当是诸幻未离，理自应尔。虽畴昔蒙师教诲，到此亦打不过，盖是平生得老妻之助整卅年，一旦丧之，岂特失左右手而已耶。哀痛之极，如何可言。
哀痛的赵孟頫返回故乡，回到他熟悉的情境，终日呼朋唤友，流连诗酒。1322年，元英宗至治二年，他去世那天，犹在家中观书作字，谈笑如常，晚上倏然而逝。时年六十九岁。
他是一个时空旅行者。他的思想超越时代300多年。直到清初，大思想家顾炎武提出“亡国”与“亡天下”的区别，我们才能更深刻理解赵孟頫的伟大。效忠一家一姓的君君臣臣思想，比起保护文化脉络，渺小得近乎可以忽略不计。
赵孟頫以后半生的隐忍，换来了元朝文化的高峰。以一己之力，扛起元朝文艺圈的大旗。没有他，元朝时期汉文化传统的断裂是可怕的。有了他，元朝就有了门面，有了自己的李白，自己的苏轼。