岳飞一共有五个儿子，其中长子岳云一直被认为是岳飞的养子，然而这个说法其实是一个误解，在《金佗续编》卷中清楚的记载着，当岳飞案平反昭雪时，岳云的妻子上书称“并系阿翁枢密亲孙”。岳云、岳雷的儿子都是岳飞的亲孙子，这意味着岳云也是岳飞的亲生儿子，而非养子，感兴趣的读者可以跟着历史资料小编一起往下看。
《建炎以来朝野杂记》乙集卷一二《岳少保诬证断案》中亦称“岳飞次男岳雷”，岳雷是此男，那岳云则无疑就是岳飞的长男了，这与岳云是岳飞养子的说法完全冲突。
很明显，岳云就是岳飞的亲生儿子，养子说法只是一个误传。不过，好生生的为何会出现这个误传呢?这恐怕与岳飞的第一任妻子有关。
岳飞的结发妻子刘氏是他十六岁时父母包办所娶的，两人婚后生有两子，分别是岳云和岳雷。岳飞年轻时并不出名，但他在母亲的教导下，怀有精忠报国的爱国思想，因而成年后便参军抗金。当时天下大乱，金军南下，北宋灭亡，南宋临时政权不断溃败，连岳飞的家乡也为金军席卷，因此岳飞失去了和家人的联系。
数年后，岳飞已经于沙场上搏杀立功，崭露头角，执掌兵权。这个时候岳飞和家人已经团聚，唯独不见发妻刘氏。不久后，韩世忠的部下出使岳飞，给他送来韩世忠的口信：“传语岳宣抚，宣抚有结发之妻，见在此中嫁作一押队之妻，可差人来取之。”
韩世忠告知岳飞其妻子嫁给了自己所部的一个小吏，让岳飞来认领。岳飞听闻后沉默不语，没有答复，且最终没有将发妻刘氏带回。
妻子嫁给他人自然不是一件开心的事情，尤其是对于一代名将岳飞来说。可是结合那个时代背景，天下大乱之际，家中的顶梁柱参军抗金，战乱波及下，一介弱女子想要求生，何其不易，为了求生嫁给其他人也无可厚非。岳飞身为大将，就这样抛弃了刘氏，似乎有点绝情了。其实不光后世人这么想，就连皇帝赵构听说了也觉得岳飞这事做得不太地道，专门召他上殿询问他为何抛弃发妻。
岳飞答曰：“履冰渡河之日，留臣妻侍老母，不期妻两经更嫁，臣切骨恨之。已差人送钱五百贯，以助其不足，恐天下不知其由也。”(《三朝北盟会编》)
原来，岳飞对刘氏早已厌恶，其中的缘由不是刘氏给他戴帽子，而是刘氏没有侍奉他的母亲。岳飞是一个大孝子，他临行前专门嘱咐刘氏，让她务必将母亲照顾好。可是岳飞渡河与家人失散后，刘氏竟然将岳飞的母亲和孩子全部抛弃，两次改嫁给他人。
刘氏于乱世中不容易，但年迈的岳母更不容易。刘氏若不想担照顾岳母的责任，尽可以早告知岳飞，以岳飞的气量定不会为难于她。刘氏没有说，但在岳飞走后，她又将岳母抛弃，嫁于他人。
正因为如此，岳飞对于刘氏不仅是厌恶，心中还带着恨意，“切骨恨之”四个字，在岳飞口中是很少说出来的，尤其是对于曾经的结发妻子说出这样的重话，可想而知岳飞当时的心情。
而且，岳飞也并非完全冷血绝情，他在得知刘氏嫁给韩世忠的一位部下后，便差人送钱五百贯。送钱代表着岳飞与发妻刘氏彻底恩断义绝，两人互不相欠，也再无干系。岳飞送去的这些钱并不算少，完全够刘氏一家人富裕的过完一辈子，所以刘氏并非晚景凄凉。
其实，从岳飞选择的第二任妻子的性格也可以看出，岳飞不可能喜欢刘氏。
岳飞所娶第二任妻子名为李娃，字孝娥，她人如其名，侍奉岳飞的老母亲十分孝顺，处理家事很有礼度。而且李娃与岳飞结识于战乱，两人经历过生死，李娃还是一位懂军事的贤内助，每一次出征前，李娃都会以岳飞夫人的身份去探望岳飞部属的家人，阵亡的将士亲属们也都会得到李娃的特殊关照。岳家军能够有强大的凝聚力，李娃功不可没。
李娃对岳云和岳雷视如己出，对他们悉心照料，两个孩子对后母李娃的感情比生母刘氏的还要深得多，毕竟刘氏在生下他们不久后就改嫁了。
赵构和秦桧冤杀岳飞和岳云后，岳家没了顶梁柱，李娃带着岳雷和三个亲生儿子被流放到岭南。这里环境艰苦，但李娃仍坚持将岳飞的后人抚养成人，这才等到了岳飞平冤昭雪，并留下了岳飞的血脉。
有李娃这样的贤内助，岳飞就更不可能将抛弃老母亲而嫁于他人的刘氏找回来了。所以岳飞才会那样绝情，送去钱财和刘氏一刀两断。至于刘氏嫁于韩世忠部下后，其生活如何，最终的结局又是什么，由于史书上没有任何记载，所以我们终究不得而知。