随着在江南势力的根深蒂固，曹家积极与苏州织造李家和马家、杭州织造金家等织造家族联姻，创造出类似《红楼梦》中“备记风月繁华之盛”的家庭背景。
康熙四十五年，皇帝命人传谕曹寅说：“三处织造，视同一体，须要和气，若有一人行事不端，两个人说他，改过便罢，若不悛改，就会参他。”而这恰与《红楼梦》中的贾、王、薛、史四大家族相呼应，正所谓：“这四家皆连络有亲，一损皆损，一荣皆荣，扶持遮饰，皆有照应的。”曹家的声势到曹寅时达至巅峰，其盛况正似《红楼梦》中所说的“烈火烹油、鲜花着锦之盛”。
曹寅死后，曹颙、曹頫虽又相继接任江宁织造至近15年（康熙五十二年至雍正五年，1713年-1727年），但曹家已开始走向败落。康熙末年的诸王夺嫡之争，与雍正登基后的清算，无疑也是曹家走向败落的重要外部因素。
由于江南三织造对皇室宫廷和皇帝个人的特殊作用，雍正即位后随即对先帝江南织造的旧班底进行清理，并代之以自己的亲信。雍正元年正月，任苏州织造长达30年（康熙三十二年至六十一年）的李煦，成为三织造中首位被整肃者，被革职，抄家，后被控党附八王爷胤禩，遭流放至死。雍正五年，任杭州织造二十余年的孙文成因年迈被解职，江宁织造曹頫亦因遭弹劾去职。被康熙皇帝“视同一体”的江南三织造至此全部换届。
当年曹寅用心经营的与八旗势族姻娅之亲，也多因雍正与允禵的斗争而遭清算。雍正四年，曹寅长女婿纳尔苏被以“在西宁军前贪婪受贿”的罪名，遭革爵、圈禁，实际上则因与允禵夺嫡密切相关。也是在这一年，作为“雍邸旧人”且当年与雍亲王“骖乘持盖，不顷刻离”的曹寅妹夫、曹頫姑丈傅鼐也因不愿对允禵落井下石，亦遭革爵、圈禁。
此外，与曹家关系匪浅的叶赫纳兰氏（明珠娶阿济格第五女，其次子揆叙之孙女嫁曹雪芹的二表哥福秀）揆叙当年挟巨赀大力支持胤禩（明珠侄女惠妃之养子）、胤禟与胤祯党，揆叙次子永福还娶胤禟之女，长子永寿之妻更拜胤禟为干爹。雍正即位时，揆叙虽已先卒，但仍被清算，雍正帝自言与揆叙有“不共戴天之恨”，并在揆叙的墓碑分刻上“不忠不孝柔奸阴险揆叙之墓”等字，以昭永久。
雍正六年，曹頫以骚扰驿站、转移家产、亏空帑项等罪名被抄家，并因未能如数赔偿四百四十三两二钱银子，被枷号催追。直到十三年十月因乾隆帝即位恩诏获宽免时，仍欠三百零二两二钱。曹家子弟如雪芹、棠村等且流散四方，正如《红楼梦》第五回所说：“好一似食尽鸟投林，落了片白茫茫大地真干净。”
看尽人世沧桑且潦倒至死的曹雪芹及其亲长，或许就在此一背景下，起意从自己家族或亲友走过的这段波澜壮阔之历史当中，把较精彩的故事与人物铺陈为小说，其目的既非为名，亦非为利，只是希望能承载那些刻骨铭心的悲欢苦乐。
曹家以包衣身份侍候爱新觉罗皇族总共长达约一个世纪，他们在后金的辽东时期先担任家奴，接着成功转型成在江南专门承办御用事物的织造，最终则以革职抄没之结局归于卑寒。
曹家这百年的家族史，因受大环境的影响一直摆荡在满化与汉化之间，因而积淀出跨越满汉两大族群的特殊多元文化底蕴，更透过各种主属及姻娅关系，亲闻或亲历了清代初期几乎所有最重要之政争——顺治帝即位、阿济格与多尔衮兄弟失势、康熙末诸王夺嫡。这些在清初政争中真实出现过的悲剧身影，应对我们深入理解曹雪芹的创作理念以及早期读者们的阅读心态有所启发。