侯方域与李香君的爱情故事通过《桃花扇》家喻户晓，没有人不为他们的爱情和气节感动。但是有说法是侯方域辜负了李香君，这是怎么回事呢，一切还要从头说起。
李香君刚满十六岁的时候，见到侯方域并一见倾心，像李香君这样一位名妓，梳拢必须邀请大批有头有脸的风流雅士，还要付一笔丰厚的礼金给鸨母，可惜侯方域没有银子，无能为力。友人杨龙友雪中送炭，给了他大力的资助，梳拢仪式很顺利地办了下来。当夜侯方域一柄上等的镂花象牙骨白绢面宫扇送给了李香君作定情之物，扇上系着侯家祖传的琥珀扇坠。
李香君深察侯郎的真心挚意，从此便留他住在了媚香楼中。但是，那笔钱并不是杨龙友的，而是阮大铖赠送给侯方域的一个人情，想拉拢侯方域入僚。侯方域尚自犹豫，但是李香君发飙了，劈手就把头上的发簪脱下来了，骂醒了侯方域。变卖了首饰，四下借钱，总算凑够了数，把钱扔还给了阮大铖。
阮大铖怀恨在心。弘光皇帝即位后，起用阮大铖，他趁机陷害侯方域，迫使其投奔史可法，自侯方域去后，李香君结束了自己的职业生涯。洗尽铅华，闭门谢客，一心等候公子归来。在阮大铖的怂恿之下，弘光皇朝的大红人田仰吹吹打打地来迎接李香君做妾。李香君坚决不从，田仰还要坚持，她干脆一头撞在栏杆上，血溅在侯方域送她的扇子上。娶亲的人见闹出了人命案，只好灰溜溜地抬着花轿溜回去了。侯方域的朋友杨龙友利用血点在扇中画出一树桃花。
李香君在南京受尽苦难，后躲进栖霞山葆真庵，与昔日秦淮姐妹卞玉京相伴为尼。侯方域在栖霞山寻到李香君。经过商议，二人携手渡江北上，前往老家商丘。李香君隐瞒歌伎身份，以吴氏女子妾的身份住进西园翡翠楼。在这里，她与公婆和睦相处；与侯方域元配夫人常氏相敬如宾，姐妹相称；与侯方域鱼水情深，琴瑟和谐。李香君生活得平安、舒适，也可以说是她一生中最为幸福美满的时期。
可天有不测风雨，人有旦夕祸福。就在侯方域去南京的时候，她经常担惊受怕的身份问题终于暴露了。公公侯恂知道李香君是秦淮歌伎的真实身份后，当即命令李香君滚出翡翠楼，后经人讲情，才心不甘情不愿地让她住到离城十五里的侯氏柴草园——打鸡园。那里是一个前不着村，后不着店的荒凉村落。而此时得知李香君已身怀有孕，引起婆母和常氏夫人的同情，二人一再向侯恂求情，侯恂才勉强答应派一个小丫头去那里服侍。
侯方域回到归德（今商丘）后，即将李香君接回，住在翡翠楼上。因出身低贱，香君被赶到距城7公里的侯氏庄园（今李姬园）居住。李香君因被歧视，终日郁郁寡欢，日久成病，无奈患上肺痨而死，享年三十岁。
关于李香君有三种结局：一种是终于在苏州与侯方域重逢了，被一个老头当头棒喝，两人拔剑四顾心茫然，勘破尘缘，只好出家了事。一种是李香君顺利嫁给侯方域为妾，侯方域变节南下，李香君则在侯府里被人赶了出来，寂寥而死。第三种则两个人连最后一面都没有见着，李香君就留下一柄桃花扇恹恹地死去。临去之前留下一句话：“公子当为大明守节，勿事异族，妾于九泉之下铭记公子厚爱。”可惜，她的侯公子连玩世的犬儒主义者都做不成了，白白污了香君的名声。
虽然两人的爱情令人动容，但不论是哪种结局李香君都没能善终，因此，说侯方域辜负李香君并不是乱说。