曹操和袁紹還是好哥們的時候組團圍毆陶謙， 袁術看到哥哥和曹操打陶謙， 也抄起傢伙就海扁陶謙。 可憐的陶謙， 單挑二袁一曹， 實在打不過， 就想拉劉備過來助拳。 陶謙派糜竺去恭請劉備屯兵小沛， 不想呂布趁劉備打袁術的機會， 襲取小沛， 把劉備夫人甘氏搶走了。 糜竺認定劉備能成大事， 帶領弟弟糜芳和自己的二千家奴追隨劉備， 還把親妹妹糜氏嫁給劉備。 糜竺在劉備倒楣的時候， 傾盡钜億家資資助劉備。
劉備佔據荊州益州之後， 對糜家也夠意思， 封糜竺為安漢將軍。 並封糜芳為南郡太守，
糜芳聽到關羽回來要收拾他的話， 這小子才知道害怕了。 那時候的關羽， 假節鉞， 擁有生殺大權。 靡芳害怕關羽回來會宰了他， 前思後想， 決定和傅士仁組團投奔孫權。 當時孫權對關羽的荊州虎視眈眈， 在得知靡芳、傅士仁願意投降的消息後，
孫權佔領江陵後， 順勢襲擊關羽， 關羽被斬殺於臨沮。 糜芳身為劉備大舅子， 投靠孫權， 出賣關羽， 是害死關羽的主要責任人。 糜芳投降後， 他的哥哥糜竺還在成都， 知道弟弟投降害死關羽的消息後， 也是嚇尿了。 糜竺帶著一家老小， 去找劉備負荊請罪。 劉備看著當年傾盡家產資助自己的糜竺哭得不成人形， 實在下不了手殺他， 只好原諒糜竺。 劉備雖然原諒了糜糜竺， 但是糜竺還是覺得羞愧難當， 沒多久就病死了。
糜芳投降孫權後， 雖然被封為將軍， 但是日子過得也不好。 當時的人敬重英雄， 對於糜芳這種賣主求榮的人， 是非常看不起的。 糜芳有一回在東吳坐船， 對面虞翻也乘船而來。 糜芳的官職比虞翻高， 按禮制， 虞翻應該讓糜芳的船先行。 但是虞翻不但不讓行， 還嘲笑糜芳投降將軍竟敢爭先， 堅決不讓路。 糜芳被人嘲笑了 ， 非但不敢還嘴， 還只能讓級別比自己低的虞翻先行， 可謂是顏面掃地。 虞翻如此對待糜芳並非個例， 而是東吳集團官員對糜芳態度的代表， 由此可見， 靡芳投降後在東吳過得很悲催