“綠帽子”， 本來就是綠色的帽子， 但在漢語世界裡， 一個男人被戴“綠帽子”則是指他的女性配偶與其他男子偷情相好， 這無疑是極不光彩的。
以至於漢語還延伸出其他類比詞彙：比如綠色的“王八殼”（男子被綠了還像縮頭王八一樣不敢反抗）、陸軍的“綠鋼盔”（比喻綠帽子十分結實、確鑿）。 這些都比“綠帽子”更進一步。
為什麼“綠帽子”會有如此不受待見的含義？
這源於中國古代對顏色的區分， 進而應用到服飾上， 由此產生階層劃分的結果。
中國古人將顏色區分為“正色”和“間色”， 這源於《禮記·玉藻》對“士”著衣顏色的要求：“士不衣織，
晉武帝冕服圖， 冕服的上衣為玄色， 下裳為纁色
唐代孔穎達的注疏進一步解釋說：“玄是天色， 故為正；纁是地色， 赤黃之雜， 故為間色；皇氏雲， 正謂青、赤、黃、白、黑， 五方之色；不正謂五方間色也， 綠、紅、碧、紫、騮黃是也。 ”
中華民國北京政府時期的五色旗， 即採用紅黃藍白黑五正色代表滿漢蒙回藏五族共和
綠色， 是“蒼黃之間色”， 故而在中國傳統的顏色等級譜系中就處於較低的位置。 相應的， 穿著綠色服飾本身也就意味自己的社會階層地位比較低下。 《漢書·東方朔傳》中就寫到， 漢武帝的姑姑館陶長公主寡居後有了一個情夫董偃，
唐宋時平民帶綠、碧或青頭巾都被認為是低賤和侮辱。 唐代貞元年間的《封氏見聞錄》記載， 當時地方官吏對犯人的名譽性處罰是“不加杖罰， 但令裹碧頭巾以辱之”。 沈括在《夢溪筆談》中記載， “蘇州有不逞子弟， 紗帽下著青巾， 孫伯純知州判雲：‘巾帽用青， 屠沽何異？’”這說明在當時士人心目中， 只有屠夫商人這種最低下的人才會戴綠帽子。
而綠色即使作為官服的顏色， 其排名也始終不高。 南北朝時期創立了五等官服制度：朱、紫、緋（深紅色）、綠、青。 以唐代為例， 六品著深綠色， 七品著淺綠色。 明代以八、九品著綠袍。
《神探狄仁傑》劇照， 紫、石青和淺緋色官服同時出現
綠帽子從低賤轉向表示某種男女不正當關係的含義則始於元代。 《元典章·禮部服色》載：“至元五年（1268 年）， 准中書省劄， 娼妓之家， 家長並親屬男子， 裹青（綠）巾。 ”於是“綠頭巾”就成為娼妓男性親屬的專用服飾， 於是自元代起， 帶綠色帽子就意味著， 他的女性家屬從事娼妓行業。
明初繼承了元代的制度， 明太祖朱元璋于洪武三年（1370 年）下詔規定“樂妓明角冠皂褙子， 不許與民妻同”， “教坊司伶人常服綠色巾， 以別士庶人服”。 《明人雜俎》也記載“娼妓隸於官者為樂戶， 國初之制， 綠其巾以示辱”。 朱元璋讓娼妓家的男子必須頭戴綠頭巾， 腰系紅褡膊， 足穿毛豬皮鞋。 人們見到男子戴綠帽子就知道他的妻女是娼妓，
烏龜、王八的頭又是綠色的， 想像力豐富的文人們又把戴綠帽子比作烏龜， 妻女如多產的兔子般“淫蕩”而男人卻只能像烏龜一樣忍氣吞聲。 明人陶宗儀《南村輟耕錄》寫道：“宅眷盡為瞠目兔， 舍人總做縮頭龜。 ”