一、原配夫人楊氏
貞元元年（785）， 13歲的柳宗元與當時任禮部、兵部郎中楊憑的女兒訂婚。 貞元十二年， 24歲的柳宗元與楊憑之女完婚。 三年後， 楊因足疾， 孕而不育去世。 楊憑是文人出身， 曾任太常少卿， 出為湖南觀察使、江西觀察使， 後入朝為京兆尹。 元和四年（809）被貶為臨賀尉， 後遷杭州長史。 元和七年， 他又入朝為太傅。 其岳父在元和十二年去世， 柳在柳州寫了《祭楊憑詹事文》， 也能從中瞭解老丈人的情況。
二、謎一樣的女子和柳宗元生有一個女兒
元和五年， 柳宗元的大女兒和娘因病去世， 年僅十歲。 柳很悲傷， 寫了《下殤女子墓磚記》：“下殤女子生長安善和裡， 其始名和娘。 既得病， 乃曰：‘佛， 我依也， 願以為役。 ’更名佛婢。 既病， 求去發為尼， 號之為初心。 元和五年四月三日死永州， 凡十歲。 其母微也， 故為父子晚。 ”這裡提供的資訊是：和娘生在長安善和裡柳氏舊宅， 其母身份較低，
這女子是誰就成了歷史之謎， 可能是在偷養了一個歌妓。 唐代文人官吏狎妓納妾比較普遍， 柳宗元為什麼如此偷偷摸摸？有些學者認為那時柳宗元前途看好， 還想進步， 不想以私德被人詬病。 因為從女兒和娘年齡看， 柳宗元與該女子交往時間為原配健在或是屍骨未寒之時， 他的老丈人家族顯赫也怕惹惱他們。
三、與馬雷五姨母同居生育兩男兩女
元和四年， 柳宗元寫信給許孟容說：“荒陬中少士人女子， 無與為婚， 世亦不肯與罪大者親昵。 以是嗣續之重， 不絕如縷。 ”唐代嚴等級， 重門第， 法律禁止良民與賤民通婚， 良民中士族（貴族）與庶族（平民）也難聯姻。 柳雖遭貶， 但終究還是“吏”， 六品官， 受封建等級的制約， 續娶要考慮門當戶對。 由於永州地處蠻荒， 難覓士人之女；即使遇到適合的女子， 誰又願意與負罪的欽犯結親？受孟子“不孝有三， 無後為大”的影響， 子嗣問題一直困擾著他， 他使感到莫大的痛苦。
元和十四年（819）十月五日， 柳宗元因病去世， 年僅四十七歲。 長子週六， 年四歲；次子周七是遺腹子；大女兒殷賢不到十歲；小女兒應比週六大些。 柳病逝前， 曾分別給劉禹錫、韓愈寫信託孤。 劉禹錫《祭柳員外文》有“誓使週六， 同於己子”， 在《重祭柳員外文》有“幼稚甬上， 故人撫之。 敦詩退之， 各展其分”（崔群字敦詩， 韓愈字退之）， 在《為鄂州李大夫祭柳員外文》中說：“遺孤之才與不才， 敢同己子之相許”。 可見， 劉禹錫撫養的是週六。 韓愈在《祭柳子厚文》中說“嗟之子厚， 今也則亡， 臨絕之音， 一何琅琅。 遍告諸友， 以寄厥子，不鄙謂餘，亦托以死。凡今之交，觀勢厚薄，餘豈可保，能承子托？非我知子，子實命我，猶有鬼神，寧敢遺墮！”因為韓愈的話講得比較含蓄，沒有指明。
週六、周七及其後裔的有說在山西祖籍的，有說在浙江青田的，也有說在江蘇江陰申港戴君橋村的------這些都是以族譜記載為依據的，年代久遠，枝繁葉茂，這些也可能都是柳宗元的後裔。
以寄厥子，不鄙謂餘，亦托以死。凡今之交，觀勢厚薄，餘豈可保，能承子托？非我知子，子實命我，猶有鬼神，寧敢遺墮！”因為韓愈的話講得比較含蓄，沒有指明。
週六、周七及其後裔的有說在山西祖籍的，有說在浙江青田的，也有說在江蘇江陰申港戴君橋村的------這些都是以族譜記載為依據的，年代久遠，枝繁葉茂，這些也可能都是柳宗元的後裔。