新中国成立前，张伯驹与张葱玉、邓以蛰、张大千、徐悲鸿、沈尹默、吴湖帆、启功等诸先生一起被聘为故宫博物院专门委员，工作任务为“书画审定”，为故宫博物院收购清宫流散书画出谋划策，做了大量工作。
当溥仪盗运出宫的书画在市场上陆续出现时，张伯驹即谏言故宫博物院，尽早开展征集工作：“一、所有《赏溥杰单》内者，不论真赝，统由故宫博物院价购收回；二、选精品。经过审查价购收回。”经其考订，1198件中除赝迹及不甚重要者外，有价值之品约有四五百件，按当时价格无需大笔经费便可大部收回。
1946年底，北京古玩商马霁川从东北带回20余件文物推荐给故宫博物院。张伯驹不仅给出了具体的审定意见，而且将他所了解的信息，及时反馈给故宫博物院。
1947年4月19日，张伯驹又作为专门委员，与徐悲鸿、邓以蛰、启功等人出席了故宫博物院在绛雪轩举行的第六届理事会在平理事第四次谈话会，讨论书画收购事宜。
张伯驹颇为重视文物精品，曾向马衡院长建言，“余主张宁收一件精品，不收若干普通之品”。
所以，当发现精品文物在市场上出现时，他多会优先推荐故宫博物院收购，如范仲淹《道服赞》由北京古玩商靳伯声从东北购得，他居中协调，商定以黄金110两卖给故宫博物院。又如，当得知马霁川有展子虔《游春图》时，他建议故宫博物院将此卷买下。
在故宫博物院无力收购以上两件文物的情况下，为防止文物流落海外，张伯驹不惜鬻物举债将它们买下，一件《游春图》使他从豪门巨富变为债台高筑，不得不变卖在弓弦胡同的一处宅院和潘素的金银首饰。
新中国成立后，张伯驹继续关注故宫博物院事业的发展，而一生所藏文物精华，也大多归于故宫博物院收藏，兑现了其“予所收蓄不必终予身为予有，但使永存吾土，世传有绪”的初衷。
故宫博物院共计收藏有张伯驹《丛碧书画录》著录的古代书画22件，几乎件件堪称中国艺术史上的璀璨明珠。
如晋·陆机《平复帖》是传世文物中最早的一件名人手迹；隋·展子虔《游春图》为传世最早的一幅独立山水画。其余如唐·杜牧《张好好诗》、唐·李白《上阳台帖》、宋·黄庭坚《诸上座帖》、宋·赵佶《雪江归棹图》等，都是中国艺术史上的重要文物。
这其中，晋·陆机《平复帖》、唐·杜牧《张好好诗》、宋·范仲淹《道服赞》、宋·黄庭坚《诸上座帖》等8件古代法书精品是1956年由张伯驹、潘素夫妇捐赠国家的，国家文物局后调拨故宫博物院；隋·展子虔《游春图》、宋·赵佶《雪江归棹图》、明·唐寅《王蜀宫妓图》等是张伯驹让与国家，国家文物局收购后陆续调拨故宫博物院的；唐·李白《上阳台帖》则系张伯驹赠与毛泽东主席，1958年中央人民政府主席办公室将其调拨故宫博物院。
另外，故宫博物院还于1959年购买了张伯驹曾收藏的宋·赵孟坚《行书自书诗》。需要特别强调的是，隋·展子虔《游春图》、唐·杜牧《张好好诗》、宋·范仲淹《道服赞》等都是故宫博物院当时有意收购，但因各种原因而未能入藏的。它们最终能由故宫博物院收藏，为中华民族所共享，张伯驹居功至伟。
1956年7月，时任文化部部长沈雁冰（茅盾）亲笔为捐献8件国宝的张伯驹颁发了一个褒奖令。
调任吉林省博物馆第一副馆长后，当时吉林省的文化底子相对薄弱，省博物馆的藏品根本无法与国内重点单位相比。
于是，张伯驹再次慷慨解囊，无偿地捐献了几十件自己的珍贵收藏，包括元代仇远的《自书诗》卷、颜辉的《煮茶图》卷、宋代赵伯啸的《白云仙乔图》卷、元代赵子昂的《篆书千字文》卷、明代薛素素《墨兰图》轴、唐人写经《大般若波罗密多经》、明代董其昌的字对、唐人楷书册等等。
时任吉林省委宣传部长的宋振庭对省博物馆的藏画中尚无宋人真迹感到甚是遗憾。张伯驹得知后，又捐献了宋代杨婕妤的《百花图》。