纪晓岚之所以能让我们记住，主要还是源于电视剧《铁齿铜牙纪晓岚》，在电视剧中纪晓岚的形象深入人心，他清正廉洁，颇有才学，跟皇帝关系很好，屡次智斗和珅，而且在电视机中他不好女色，你看杜小月作为红颜知己在他身边那么久，他都没动过歪心思，不过在历史上真正的纪晓岚，并非不近女色的。
据史载，纪晓岚先后有一位夫人和六房妾。纪晓岚的夫人姓马，马夫人直到纪晓岚七十二岁那年才去世。他有一房妾名为文鸾，是他从小青梅竹马的朋友（在北京纪晓岚故居，四合院中一株海棠，便是与文鸾所种）。郭彩符是纪的侍姬之一，沈明讦是其另一侍姬。
根据资料记载，纪晓岚－生共有四个儿子，分别是纪汝佶、纪汝传、纪汝似和纪汝亿。
长子纪汝佶（1743——1786年），字御调，又字侠如，出生于乾隆八年十二月二十七日，当时纪昀20岁；
次子纪汝传（174——1777年），字绪承，出生于乾隆十二年九月十三日卯时；
三子纪汝似（1766——卒年不详），字象庭，出生于乾隆三十一年九月二十七日丑时；
四子纪汝亿（1784——卒年不详），字万斯。
纪汝佶是纪晓岚的长子，纪晓岚在《阅微草堂笔记》中记载了其生平。他生于公元1743年，卒于公元1786年，享年44岁。
在父亲纪晓岚眼中，纪汝佶是位聪明的孩子，小时候没有读过很多书，就能作诗。纪汝佶年纪稍大后，参加了乡试，中了举人。随后，纪汝佶在诗文方面也有了很大的进步。纪汝佶普跟随军队到西域作战，凭借文学上的造诣，纪汝佶在文风又像公安派又像竟陵派。后来纪汝佶和朱子颖到了泰安，看见《聊斋志异》的手抄本，深陷里面的妖狐鬼怪故事，最终不能自拔。
一次，纪汝佶落入了小沟中，经过数十日未曾返家。原来，纪汝佶落入沟壑中，不幸身亡。
纪汝传是纪晓岚的次子，生于公元1747年，卒于公元1777年，享年31岁。历史书籍上对纪汝传的记录不多。只知道，纪汝传字绪承，是河北献县人。纪汝传聪敏好学，后来参加科举考试，得以进入官场为官。父亲纪晓岚在担任《四库全书》总编一职时，纪汝传担任馆议叙一职。后来，馆议叙曾在江西南昌、九江等地方担任过通判一职。
纪汝似是纪晓岚第三子，只知纪汝似字象庭。后来在《家谱》一书中，只用了只言字提到了纪汝似，他曾担任广东县丞一职，具体是何职位，没有准确的记载。
孙子至少11个，汝佶的六个儿子：树庭、树乔、树荫、树蕤、树蕃和树蔚；汝传的五个儿子：树馨、树酚、树鲱、树髕、树馥。其中纪树馨非常有才，纪晓岚去世后，是纪树馨把祖父的文章和笔记整理成书的。
到现代，第六代或第七代孙里有几个名人，中国的第一位女律师、著名法学家纪清漪，著名作家柳溪（原名纪清）和著名画家纪清佑。
