历史上的纪晓岚有两个怪癖：以肉为饭，日御数女。
关于纪晓岚的这两个近乎偏执的怪癖，人们多把它归因于单纯的生理现象，说他是奇人，具备特异功能。事实上，从科学的角度来看，当一种嗜好超出理性的范围而近乎偏执时，就必定有精神层面的原因。
如果说“只吃猪肉”还可以理解为偏执型的偏食的话，堂堂一代文宗，一位才情冠绝一时的知识分子，竟然好色到了近乎色情狂的病态地步，甚至在皇帝面前也不加掩饰，就不应该只是单纯的生理现象了。
有人认为，纪晓岚之所以嗜肉好色近乎狂，与他的经历有关。
纪晓岚的文化成绩主要有两项：一是奉旨领导编纂了一部百科全书式的巨型图书——《四库全书》；二是在晚年写了一部追录旧闻的随笔杂记《阅微草堂笔记》。
关于《四库全书》，今人早已达成一个共识，即它是一部阉割中国古代文化的集大成之作。清廷借助这项庞大的工程，进行了一次文字清查工作，取缔了一切非议外来统治者的著作。研究军事或边务的著作，以及有反夷狄之说的评议，特别是那些颂扬明朝的作品统统在禁毁之列。在编著过程中，大量古籍遭到销毁，许多人遭到迫害。编纂者们为了收集珍本甚至挨家挨户搜寻。
这项以思想统治为目的的大工程，是一项前无古人的、阉割中国传统文化的工作。纪晓岚是个有思想的文人，当他秉承皇帝的谕旨从事这项事业时，不可能不明白此事的目的和后果，加之耳闻目睹诸多人受迫害，不可能不留下心理阴影。
至于《阅微草堂笔记》，虽然煌煌二十四卷，但纪晓岚本人对这部消遣之作并不看好，他曾经写诗这样评价自己的作品：平生心力坐消磨，纸上云烟过眼多。拟筑书仓今老矣，只应说鬼似东坡。前因后果验无差，琐记搜罗鬼一车。传语洛闽门弟子，稗官原不入儒家。
作为一个具有绝世才情和旺盛精力的才子，作为一个衣食无忧的文人，纪晓岚为什么不著述呢？当时清政府采取的是高压的文化政策，文字狱大行其道，而这些文字狱中的相当一部分，恰恰就发生在乾隆皇帝授意纪晓岚编纂《四库全书》的同时。根据统计，整个乾隆年间一共有文字狱一百多起，而在编纂《四库全书》期间，则发动了四十八起，几乎占到了总数的一半。
纪晓岚帮着乾隆阉割中国的古书，自然清楚满族皇帝真正的心思。他眼见着许多著作因为有政治问题而被禁毁或者篡改，耳闻目睹许多文人因言惹祸，他对文字工作所具有的危险性与所产生的恐惧是可想而知的。因此，聪明的纪晓岚只好选择鸵鸟政策以自保，干脆什么也不写了。此外，主持编撰《四库全书》对纪晓岚的思想冲击是相当严重的，这足以让他打消潜心著述的念头。
乾隆皇帝之所以选择一个汉族的大知识分子来领衔编纂《四库全书》，其中固然有满族当中找不出修文好手的现实，但也应该是想借编纂《四库全书》，给汉族知识分子做一次洗脑或警示。对清政府来说，结果是令人满意的。以纪晓岚为代表的汉族最优秀的知识分子，在对古人的著作进行了全面阉割的同时，也把自己的精神有意无意地阉割了，再也不可能成为像前辈黄宗羲、顾炎武那种胸怀为天地立心，为生民立命，为往圣继绝学，为万世开太平的有志文人了。
但纪晓岚毕竟不是普通人，按照心理学上的易情效应，当绝世的聪明才智和旺盛的创造欲望被压抑后，他必然会寻求一种新的发泄渠道——食与性。这与魏晋时期，在司马氏强权统治下的许多先辈知识分子的宣泄方式如出一辙。