绍兴三十二年（1162年）六月，宋高宗在当了三十六年皇帝以后，以“倦勤”想多休养为由，传位给养子赵昚，是为宋孝宗，自称太上皇帝。
在宋高宗的禅让诏书，他直门地解释退位的原因是“思欲释去重负以介寿臧”。作为已经执政36年的赵构来说，皇帝之位来得特别容易，也特别出乎意料。他没有想到为了接受这笔“飞来横财”，自己30多年来要日日忧虑，疲于万机，宵旰靡怠，在北方金人和朝野臣丁的注视下不敢有丝毫倦懈。宣布解去重担后，赵构默默对父兄说：“父亲、哥哥，我把皇位重新交给列祖列宗了。”
6月11日，禅让典礼一结束，太上皇赵构随即起驾前往德寿宫，没有丝毫的留恋。赵构开始了退休生活。
赵构在位的时候就开始大规模地营造退位之后的安乐窝。那是他心目中的“世外桃源”。
它就是南起望仙桥直街，北至佑圣观路，西临中河，东括吉祥巷、织造马弄的“德寿宫”。德寿宫是在原宰相秦桧的府邸基础上营造的，占地超过17万平方米。
整座宫殿坐北朝南，布局仿照皇城，有德寿殿、后殿、灵芝殿、射厅、寝殿、食殿等十余座殿院，还有中国历史上最早的金鱼家池、巨型太湖石假山“飞来峰”等大量园林景观。亭台楼榭的精美程度比临安皇城有过之无不及。
对于这座美轮美奂的宫殿，任何文字描叙都是苍白的。要体会德寿宫的美丽，我们要闭上眼睛，想象中国古代盛行的写意山水画，将自己融入那一幅幅名作之中。那种感觉就是宋朝人置身德寿宫中的感觉。
文人们描述这个钱塘江边西子湖畔的精美宏大工程是“一色楼台三十里，不知何处觅孤山”。
即位的宋孝宗为表孝敬，将德寿宫一再扩建。德寿宫规模越来越大，地位越来越重，成为了与皇宫并列的“北内”或“北宫”。
在德寿宫中，赵构开始醉心书画，吟诗作乐。
赵构的书法原本与父兄两人没法相比，退休后他花了大量时间来练字、揣摩字帖。渐渐的，他的书法精湛、笔法端雅淳厚、涵泳隽秀。
晚年，赵构自谓：“自魏以来，至六朝笔法，无不临摹，众体备于笔下，意简犹存取舍。至若禊帖，测之益深，拟之益严，以至成诵。”
赵构为了练习书法，需要搜罗古今名家字帖。上有所好，官员文人们章纷纷进献书画作品。
一天，宫人们献上了一幅宫外献上来的巨幅图画。献画的人叫张择端，画的名字叫作《清明上河图》。
赵构突然想起40多年前，他在汴梁听到过这个画家和这幅画的大名。当时张择端将同样名字的画献给了父亲宋徽宗，得到了同样是画家的父亲的称赞。可惜汴梁失陷的时候，藏于内府的《清明上河图》随着6000件艺术品被金兵掠获北去了。想必现在张择端又重新绘制了一幅进献给自己。
赵构小心地展开画作，从看到内容的那一刻起，他就被这幅宏伟的写实作品震惊了。多么熟悉的汴梁风光啊，那河，那街，那城池，那酒肆，那清明时节的喧嚣热闹。
赵构仿佛回到了40多年前。那时，他还是汴梁城里的康王爷。他的王府就在主街道边，他常常经过街道，高兴或不高兴地参加一个个的活动。赵构仿佛觉得这一切都还是昨天。
如果张择端在40年前将这幅《清明上河图》献给赵构，赵构会兴奋异常，跑过去和张择端称兄道弟。
但是现在他不会这样了，他知道张择端献画的目的，又是提醒他不忘复国大业。他厌倦了这样的提醒。赵构狠狠心，让宫人将这幅画退回去，就说太上皇根本就不喜欢这幅画。
又一天，宫人们献上宫外正流行的一首词。那是那个南归的辛弃疾在登建康城赏心亭时所作的《水龙吟》：
“楚人千里清秋，水随人去秋无际。遥岑远目，献仇供恨，玉替螺髻。落日楼头，断鸿声里，江南游子。把吴钩看了，栏杆拍遍，无人会，登临意。休说鲈鱼堪脍，尽西风、季鹰归来？求田问舍，怕应羞见，刘郎才气。可惜流年，忧愁风雨，树犹如此，，倩何人、唤取红巾翠袖，韫英雄泪？”
赵构又一次陷入回忆。他隐约记得自己做皇帝的时候接见过这个辛弃疾。当时年轻的辛弃疾从山东一路过关斩将，率领万余人归降南方。
赵构在宝座上对这个意气风发，满口北伐的年轻人褒奖了一番，分配到地方任职。后来他听说这个年轻人不太合群，时而为官，时而罢官，断断续续，频繁调动，也就不去关注他了。想不到，仕途不顺的辛弃疾在文学上取得了耀眼的成就。
如今赵构还是不喜欢辛弃疾，更不欣赏他的这首《水龙吟》。他摆摆手让人把词给撤下去，又问起张择端的近况。宫人回答说，张择端几天前刚死了。赵构长长叹了口气，从此下令禁止再向德寿宫进献诗词书画作品。
赵构想自闭于书画，与世无争的做法也没有成功。五德寿宫中的太上皇越来越老，越来越少活动了。
赵构每一天的大部分时间都躺在德寿殿的榻上，安静地看着庭院里巨大的水车从早到晚地旋转，缓缓地将清凉的河水舀起，又放下。水车轻轻扭动，河水低声鸣溅，倒影在庭院中每天固定地移走。赵构觉得生活是如此的安宁，固定，与世无争。这就是他追求半个多世纪的生活状态。
晚年赵构最关心的事情就是在德寿宫中酿酒品酒。
德寿宫配置了专门的酿酒师，用当时上好的惠山大米配合上等三白泉水酿酒。酒水装在酒桶里，泥封后印上“上品”的印记封存在宫中。年老的赵构几乎一日都离不开德寿宫白酿的酒。
淳熙十一年的一天，赵构和新皇帝孝宗赵奋一起品尝自制的雪浸白酒。
赵构显然对雪浸白酒很自豪。孝宗劝谏道：“此物不宜多吃！”
赵构说：“不妨事，吃了反觉凉爽！”
那一夜，80岁的赵构又是一场大醉。每一场大醉都能让他忘记很多事情。
太上皇赵构和新皇帝赵昚并不是亲生父子，而是关系极其疏远的远房叔侄。赵构做了太上皇后，赵昚非常孝顺。
德寿宫的物质供应充足，太上皇一有什么要求，赵奋就尽量满足。每个月，赵昚都起码过来探望请安四次以上。每逢节日或出游，赵昚都要恭请宋高宗出席或同行。赵昚对待赵构就像亲生儿子对待父亲一样。没有儿子的赵构在德寿宫安享了天伦之乐。
1167年3月的一天，赵昚带着皇后、太子一起到德寿宫拜见赵构并赏花。
当日德寿宫小西湖畔鲜花怒放，内侍杂役来回奔忙。赵构子孙三代人先看抛彩球、荡秋千，再看百戏表演，然后登上御舟绕堤而行。
赵奋安排数十条小舟，满载酒食、水果和艺人跟随在御舟后面，以备太上皇随时召唤。湖上尽兴后，一行人上岸继续饮酒，欣赏歌舞，直到子孙三代都大醉为止。这样的情景在德寿宫经常出现。
老年人喜欢安静，赵构就喜欢读读“消遣文学”，尤其是那些市井杂文和笔记小说。赵昚派专人给太上皇搜集小说，竟然间接地推动了南宋民间文学的发展。
淳熙十四年十月乙亥日（1187年11月9日），赵构病死于临安行在的德寿宫，时年八十一岁，谥号圣神武文宪孝皇帝，庙号高宗。