“使君妻妾，终日不安！”
李益和霍小玉这最后一次相遇，小说描写带有一点神秘的色彩。
前一天晚上，霍小玉就梦见一个黄衫男子抱着李益到来。李益来到床前，要小玉脱鞋。霍小玉惊醒之后，向母亲分析这个梦：“鞋者，谐也，这是说我要和李益再次相逢。但把鞋子脱下，这是相见了又要分开，也就是永别了。”
到了清晨，霍小玉强撑着病体起来，请求母亲为她梳妆打扮。母亲认为她长期生病，神志紊乱，不怎么相信这事，但还是答应了女儿。梳妆刚结束。李益果然来了。
霍小玉凝视李益许久，说了这样一番话：
“我为女子，薄命如斯！君是丈夫，负心若此！韶颜稚齿，饮恨而终。慈母在堂，不能供养。绮罗弦管，从此永休。征痛黄泉，皆君所致。李君李君，今当永诀！我死之后，必为厉鬼，使君妻妾，终日不安！”
然后，霍小玉拉住李益的手臂，掷杯于地，长恸号哭数声而死。
从古至今，美丽少女这番悲情的遗言，也不知道赚了多少同情之泪。——当然，今天看会有些别扭的地方。“我死之后，必为厉鬼，使君妻妾，终日不安！”报复渣男就好了，女人何苦折磨女人呢？
让人有点惊讶的是，小玉的母亲，好像并不怨恨李益。她抬起小玉尸体，放到李益怀里，让他呼唤她，可小玉再也无法醒来了。
李益为她穿上丧服，日夜哀哭。下葬的前一天晚上，李益仿佛看见霍小玉又出现在自己面前，留下了另一句遗言：
“愧君相送，尚有馀情。幽冥之中，能不感叹？”
这句话，是原谅的意思吧？第二天，霍小玉葬于长安御宿原。李益在霍小玉墓前，尽情宣泄了自己的悲痛，然后才离去。
故事到目前为止，李益的人品，大概说不上有多坏。和《莺莺传》里的张生比，这点更加明显。
李益这人的毛病，一是冲动，二是软弱，三是其实还比较老实。冲动和软弱都不是大问题，但冲动则容易产生代价，软弱则无法承受压力，老实则面对困境不会耍滑头，三者一旦结合，后果就极糟糕。李益给霍小玉造成的伤害，反而远远大于张生给莺莺的伤害；他自己的内心折磨，当然也比张生多得多。
从后果上说，不想当渣男的渣男，往往比铁了心的渣男更渣男。
然而男人年轻的时候，既冲动又软弱怕是常见病。所以读李益的故事，哪怕是联想到一些和情爱无关的事，人也很容易看见自己的影子。
但小说到这里并没有完。霍小玉临终时对李益说"使君妻妾，终日不安”，这是要应验的。
李益娶了卢氏，但心情仍郁郁不乐。夏日的一天，李益和卢氏睡在帐子里，突然听到外面有奇怪的声音，他掀开帐子，看见一个二十余岁的俊美青年，向卢氏连连招手，他追上去，那个少年却突然消失了。
从此，李益总是觉得有第三者隐蔽在身边。十余天后，李益从外面回来，卢氏正在坐床上鼓瑟，忽然看见外面有人抛进来一个“斑犀钿花合子”，上面还打着一个同心结，丢进了卢氏怀中。
同心结当然是表白爱恋的，李益冲上去打开盒子，看见：
相思子二，叩头虫一，发杀觜一，驴驹媚少许。
这几件东西具体是什么，很难说清楚，但大抵是古人房中的催情药或情趣用品。有人猜测，相思子也叫郎君子或醋鳖子，特点是“雌雄相逐，逡巡便合”；叩头虫也叫捣碓虫，捣碓的动作像是什么，那也不消说的。
所以也就难怪李益愤怒叫吼，声如豺虎，拿起瑟向卢氏撞去。然而卢氏默然承受，也并不声辩。
从此，李益用各种手段折磨卢氏，最后到底把她休了。
再后来，李益只要和哪个婢妾稍微亲近一些，从此就会对她无比猜忌，甚至有人因此被他杀死。一代主人杀死奴婢并不是什么了不起的大罪，会影响李益的名声和仕途，但不会因此抓他去坐牢。
李益曾经到广陵，得到一位名姬叫营十一娘的，李益非常喜欢她，于是一有机会就会对她说，我曾经在某处得到某位美女，因为某事，我就杀了她。这样的话几乎每天都要说一遍。
李益出门时，就把营十一娘扣在一只大澡盆里，回来总要反复检视，看有没有动过的痕迹。
李益随身还总是带着一把短剑，经常对侍婢们说：“此信州葛溪铁，唯断作罪过头！”信州葛溪在今天的江西上饶，当时以产锋利的兵刃著名。
李益总共结过三次婚，但总是陷入无休止的猜忌之中。
