說起胡雪岩“紅頂商人”、“大善人”、“胡慶余堂創始人”在他的頭上有很多的光環， 當今世上依舊流傳著很多關於他的書籍， 甚至他那在杭州至今都門庭若市的故居中， 就專有一處在售賣關於他的總總文字素材：生平履歷、經商之道等等。 但民間小說中大有他做為暴發戶驕奢淫逸的故事。
他出身貧寒， 經商才能、處世韜略為世人所稱道， 被譽為一代巨賈。 慈禧太后賜他黃袍馬褂， 他又升遷至“布政使銜”從二品官階， 故又被稱為“紅頂商人”。 後來他擁有資產近3000萬兩白銀的家業， 田地萬畝。 事業有成的胡某人顯露出“暴發戶”的淺薄和荒淫。
他在生活方面完全按照暴發戶的規格來， 極盡奢靡， 處處顯露出那種趾高氣揚的神氣。 首先是大起園林， 至今在杭州保存完好的故居中， 全是用上等的紫檀木修建。 在那個玻璃被稱為琉璃的稀有物品的年代， 他的大堂、客廳樓頂、窗戶全部用彩色玻璃鋪就。 更不用提園林構造的亭台水榭， 松石花木， 各類奇珍。 他耗鉅資營造的庭園被譽為“江南第一豪宅”。 據當時的《申報》報導， 有個外國官員到杭州， 寧願住在胡府也不去官方的迎賓館。
不僅在生活上鋪張， 追求享受。 在感情上的軼事也一籮筐。 說胡雪岩經常在街市上尋覓美色， 看見有姿色的美麗女子， 就請人說和， 身價再高也不計較， 而且還會給女方的家人安排好差事。
有一天， 胡雪岩穿著樸素的衣裳到一個妓女處。 那妓女看胡雪岩的窮酸相， 以為沒多少油水， 便懶得理他。
在感情這方面， 他是不僅要跟職業妓女計較，
有一次是說胡雪岩經過一家裁縫店， 見門口一個苗條女子很是上眼， 就盯住多看了幾眼， 那女子覺察之後， 急忙關門進入屋內。 胡雪岩的自尊心受到了傷害， 於是派人拿鉅資向其父親提親要納其為妾， 女子之父見錢眼開答應了。 胡雪岩擇日將這女子娶回。 在新房裡， 胡雪岩自己喝著酒， 然後讓新娘子裸體躺在床上， 又讓僕人在一邊高舉著大蠟燭。 他來回踱步看著這新人， 放聲大笑說：“前幾日你不讓我看， 我偏要看。 現在你還有什麼辦法制止我？”他說完推門而去， 到別的小妾房中過夜。 第二天派人對這女子說：“這間房中所有的物件都可以拿走，你可以改嫁他人，這裡沒有你的位置。”
也有書說他生意做的這麼大，有這他獨特的一套生意經，這裡也離不了女人。首先他到一處碼頭開一處店，便娶一房小老婆，立一個家。店裡用的總理人，到他家裡去，那小老婆照例是不回避的。住上幾個月，他去了，由得那小老婆和總理人鬼混。那總理人辦起事來，自然格外巴結了。所以沒有一處不是發財的。”
胡雪岩雖聰明一世，在生意場上八面玲瓏如魚得水，但在官場上卻是個“低能兒”，政治上很“不成熟”。他不諳官場規則，成為李鴻章“排左先排胡，倒左先倒胡”策略的祭品，做了左宗棠與李鴻章政治鬥爭的“犧牲品”。
這位原本縱橫商場、江湖，權傾一時、富可敵國的一代巨賈，身敗名裂，近3000萬兩銀子的家業也頃刻殆盡。“他在淒涼中鬱鬱而終，終年六十二歲。
第二天派人對這女子說：“這間房中所有的物件都可以拿走，你可以改嫁他人，這裡沒有你的位置。”
也有書說他生意做的這麼大，有這他獨特的一套生意經，這裡也離不了女人。首先他到一處碼頭開一處店，便娶一房小老婆，立一個家。店裡用的總理人，到他家裡去，那小老婆照例是不回避的。住上幾個月，他去了，由得那小老婆和總理人鬼混。那總理人辦起事來，自然格外巴結了。所以沒有一處不是發財的。”
胡雪岩雖聰明一世，在生意場上八面玲瓏如魚得水，但在官場上卻是個“低能兒”，政治上很“不成熟”。他不諳官場規則，成為李鴻章“排左先排胡，倒左先倒胡”策略的祭品，做了左宗棠與李鴻章政治鬥爭的“犧牲品”。
這位原本縱橫商場、江湖，權傾一時、富可敵國的一代巨賈，身敗名裂，近3000萬兩銀子的家業也頃刻殆盡。“他在淒涼中鬱鬱而終，終年六十二歲。