光源氏二十三歳から二十五歳までの二年間、時は最初はゆっくりと、後には怒濤のように、光源氏から行き場を奪っていった。
　賢木の巻には、いくつもの別れと密通が描かれる。最初の別れは、六条御息所とのそれだ。この前年、愛執のあまり光源氏の正妻葵の上を死に追いやった罪悪感から、御息所は光源氏との関係を清算する決意を固めていた。斎宮となった娘と共に伊勢に赴く。精進潔斎のため嵯峨野の野宮にこもる御息所を、光源氏は訪ねる。「遥けき野辺を分け入り給ふより、いとものあはれなり」に始まるこの場面は、『源氏物語』でも白眉の名文と言ってよい。荒涼たる秋の野を背景に、大人の男と女が、断ち切れぬ未練を断ち切って別れる。
　もう一つの別れは、その年の冬。光源氏を愛してやまなかった父、桐壺帝が崩御する。光源氏は三歳で母と死別、六歳で祖母を亡くした。そしてここでまた庇護者を喪う。悲しみにうちのめされる光源氏。政治的にも後ろ盾を無くし、零落を実感せざるを得ない。
　そんな彼がすがりついたのが女たちだった。未亡人となり実家に帰った藤壺のもとに、光源氏は忍び込む。だがことは成らず、かえって藤壺の心は拒絶へと向かってしまった。桐壺院の一周忌のあとに彼女は出家する。美しい継母への初恋は、ここに永遠に絶たれた。
　そして光源氏の人生を大きく変えた第二の密通。相手は朧月夜の君である。出会いから五年、今や彼女は帝の寵愛を受ける尚侍だというのに、関係はずるずると続いていた。だがある日、大胆にも彼女の父右大臣邸に忍んだ光源氏は、逢瀬の場を右大臣自身に見咎められてしまう。驚愕する右大臣。一方で弘徽殿大后は、これを契機に光源氏を失脚させようとたくらむ。
　こうして賢木巻は、光源氏が華やかな貴公子から一変し、八方塞がりのなか謀略の墓穴を掘るまでを描く。この巻の光源氏は一貫して悲愁の人だ。だがそれが時にあふれ出し、激情となって、彼を自暴自棄なばかりの行動に奔らせる。それにしても、もがきながら堕ちてゆく光源氏も、また美しい。

　不如意に沈む光源氏は、梅雨の晴れ間に亡父の女御麗景殿の住まいを訪ねる。女御の妹が彼の古い思い人なのだ。静かな邸には橘の花が散る。その香りが昔を思い出させると、古歌に詠まれる花である。ここで光源氏の詠んだ歌の一言が巻の名になり、この女君の呼び名ともなった。
　だが実は、この短い巻が大半を費やすのは、彼女の話題ではない。花散里を訪ねる道すがら、光源氏が寄り道をしようとした先の話だ。そこで彼は、昔の女から来訪を拒まれてしまう。こんな所でまで、人の世のうつろいやすさを突きつけられるのだ。
　変わる心に傷つけられた光源氏を、花散里の変わらぬ心が癒す。哀しくも安らかな、珠玉の巻である。