唐朝開元四年， 有個姓張的大官被貶到嶽州(今岳陽市)來當太守。 張太守到了岳州之後， 愁眉緊皺， 痛苦不堪。
有一天， 他帶著幾個人出去巡視， 順便散散心， 可是轉了半天， 也沒找到個風景好的地方。
太陽落山的時候， 太守帶著隨從轉到西門外湖邊上， 看見前面有個圓形石台， 上面建了個小亭閣， 亭上掛著“閱兵台”匾額。 原來這裡是三國時期吳國大將魯肅在洞庭湖操練水兵時修的。 張太守登上閱兵台， 遠望無邊無際的洞庭湖， 頓時感到心胸開闊多了。 一個隨從對張太守說：“老爺， 這裡既可登高望遠， 又可觀賞湖光山色，
張太守聽了， 覺得有些道理， 便打定主意， 只等良辰吉日， 動工建樓。 第二天立即出榜， 招聘名師巧匠， 擔任工程總管。
有一天， 從潭州(今長沙市)來了一個青年木工， 名叫李魯班， 自稱擅長土木設計， 無論什麼亭閣樓台， 宮殿廟宇， 都能設計得盡善盡美。 張太守便命他主管工程， 限他一個月之內， 畫出一座三層、四角、五梯、六門、飛簷、斗拱、盔頂的樓閣圖樣來。
李魯班成天躲在房子裡， 畫了又畫， 算了又算， 整整搞了七七四十九天， 紙樣畫了一大堆， 不是繪成一座土地廟， 就是畫成一個過路亭。 累得滿頭大汗， 還是沒有一點結果。
張太守氣極了， 他對李魯班說：“眼下工匠來了這麼多， 只等你的圖了。
李魯班嚇得冷汗直冒， 想來想去， 也想不出什麼好辦法， 一個人坐在湖邊上哭起來了。 木工、石匠見他哭得實在傷心， 都跑去勸他說：“哎喲， 你這個青年人哪， 何必這樣認真呢， 不知道就不知道嘛， 好好地在張大人面前認個錯就是了。 ”
也有人說些風涼話：“既然取名魯班， 就一定有魯班的本領， 設計一個小小樓閣算得什麼！”
李魯班聽了這些話， 便誠懇地說：“各位師傅， 我在鄉下也做了六年手藝， 茅屋瓦房蓋過百十來棟， 真沒有想到畫個樓閣圖會有這麼難呀。 事到如今， 只好請眾鄉親幫幫忙， 往後再重重地報答諸位。 ”
這時， 有位白髮老人站到人群前面來了。
老人說：“我沒有畫過圖， 只不過呢， 我這裡有些小玩意兒， 你若喜歡， 不妨拿去擺弄擺弄， 或許會擺出一些名堂來的。 ”老人把背著的包袱打開， 裡面裝的是一大堆長的、短的、圓的、方的， 還編了號碼的木柁柁， 他隨手往地上一攤說：“若是還差點什麼的話， 到連升客棧的樓上找我就是了。
李魯班抱起那堆木柁柁， 蹲在工棚裡苦思冥想， 擺來弄去， 竟連飯也忘記吃了。
有個年輕木匠見他這樣入迷， 抓起幾個木柁柁往草堆裡一丟， 說：“哼， 那個老漢瘋瘋癲癲的， 說不定是個吹牛皮大王， 你也真的相信他？”旁邊幾個老木匠連忙說：“年輕人還是謙虛一點的好， 人家年紀那麼大了， 他過的橋， 比你走的路還多呢？你憑什麼說他吹牛皮？”老木匠們一個個坐下來和李魯班一起按著木柁柁上面的號碼， 慢慢地擺弄起來。 他們擺了又擺， 突然， 大家高興地齊聲喊叫起來：“快來看呀， 一座頂漂亮的樓閣模樣兒做好啦！”工匠們聽見了， 跑過來一看， 果然是一座壯觀的樓閣模型。 不一會兒， 整個工地的人都圍過來了，
大家按號碼仔細一查， 不多不少缺了五個木柁柁。 剛才那個丟木柁柁的青年木工， 也跑來了， 毫不在乎地說：“整整一座樓閣的模樣兒都做出來了， 差這幾個木柁柁愁什麼！等我來照樣做幾個補上去就是了。 ”
哪知道他做了一天一夜， 木頭砍了百多塊， 就是沒有一個合適的。 不是長了半分， 就是短了半分。 這時， 他才想起被自己丟掉的那幾個木柁柁， 心中很覺得過意不去， 只好對大家說：“實在對不起大家， 只怪我太不懂事， 那少了的斗拱， 就是先前被我丟掉的那幾個。 ”“丟在哪裡？快帶我們去找回來。 ”大夥齊聲問道。 “就在前面茅草堆裡。 ”青年木匠領著大夥在那一片野草叢裡找來尋去， 好容易找出了四個，還有一個卻怎麼也找不出來，野草都扯光了，也不見木柁柁的影子。
這時，張太守聽說樓閣模型造好了，急急地趕來一看，果然氣派不凡。他高興極了，連聲稱讚說：“如此壯觀、雄偉，真可謂天下第一樓矣。”“啟稟老爺，此樓模型還差一個飛簷斗拱。”“此樓模樣出自何人之手？快快請來將斗拱補上。”“稟老爺，是個白髮老人，不知姓名，只知他住在連升客棧。”張太守領著大家急急忙忙奔到連升客棧，要找白髮老人。老闆娘聽說張太守親自來找人，不知出了什麼事，連忙慌慌張張跑出來說：“哎呀，這個老頭子進店兩個多月了，白天從不落屋，夜間就在樓上劈呀鋸的鬧到半夜。我還以為他幫人家做傢俱，誰知道他只給那些孩子們做些好玩的。”
“快快打開樓門，讓我去看個究竟。”張太守那個急不可待的樣子，把老闆娘嚇壞了，她連忙把樓門打開。讓張太守查看。張太守上樓一看，沒見老人的影子，只見床上擺著一張繪製得精緻美觀的樓閣圖樣，桌子上還有十幾個木柁柁。老師傅們認真地翻了一陣，發現桌上正好有缺少的那個號碼的木柁柁，連忙拿回去一擺，便構成一份完整無缺的樓閣模型了。張太守和大夥拍手大笑起來：“這才是真魯班來了，一定要把他找到。”
可是誰也不知道他到什麼地方去了，張太守連忙派人到嶽州城內城外四處查訪。頭天沒找到，第二天還是沒影子，直到第三天清早，忽然有人前來報信，說有個白髮老人在湖灘上用石頭砌了一個拱洞，又在拱洞上面砌房子。張太守聽了，領著幾個人連忙趕到湖灘。可是那個白髮老人又不見了，只見那石頭砌成的拱洞上面，架起了一個非常美麗壯觀的樓閣，張太守指著湖灘上的樓閣模型，讚歎道：“此人才智非凡！看來用拱洞做樓基可算別具一格。這真是得天之助也！”他抬頭一看，只見一個白髮者人，手握一把尺子，正在對面高坡上丈量土地，張太守連忙問眾人：“前面可是……李魯班高興地叫喊起來：“正是他，正是那位老師傅呀！”
張太守趕上前去，一邊行禮，一邊說：“久仰師傅技藝超群，今日得見，真是三生有幸，敢問師傅莫不是姓魯？”白髮老頭連連搖頭說：“我姓盧，魯班是我的師傅。”“令師今在何處？請求指點，下官有事求見。”白髮者頭指著前面許多木工、泥匠說：“你看他正在那裡向老師傅們請教哩。”眾人順著他手指的方向看去，果然有個異樣的老人，興致勃勃地正在和工匠們談論著什麼。張太守領著大家趕過去一看，那些正忙著做事的木工泥匠，仿佛人人都像剛才看見的那個盧師傅，但又分不清哪個是真正的魯班。待他們回頭再去找那個姓盧的師傅時，只見地上留下一把尺子，上面清清楚楚刻了“魯班尺”三個字。
張太守急忙登上當年魯肅的閱兵台，面對八百里洞庭湖水高聲呼喊著：“魯班師傅——，請你再來喲——”湖面上，頓時遠遠近近響起了一片“來喲——來喲——”的回聲。這時，西邊天上，紅霞萬朵，仿佛有個白髮老人，乘著一隻白鶴，向水天盡頭飛升而去。木工、泥匠師傅們按照那白髮老人設計的式樣終於造成了樓閣，並以西城門拱洞作為樓基。
人們把三層飛簷拱取名為“魯班鬥”。由於這個樓閣位於天岳山之陽，所以大家就稱它為“岳陽樓”。
好容易找出了四個，還有一個卻怎麼也找不出來，野草都扯光了，也不見木柁柁的影子。這時，張太守聽說樓閣模型造好了，急急地趕來一看，果然氣派不凡。他高興極了，連聲稱讚說：“如此壯觀、雄偉，真可謂天下第一樓矣。”“啟稟老爺，此樓模型還差一個飛簷斗拱。”“此樓模樣出自何人之手？快快請來將斗拱補上。”“稟老爺，是個白髮老人，不知姓名，只知他住在連升客棧。”張太守領著大家急急忙忙奔到連升客棧，要找白髮老人。老闆娘聽說張太守親自來找人，不知出了什麼事，連忙慌慌張張跑出來說：“哎呀，這個老頭子進店兩個多月了，白天從不落屋，夜間就在樓上劈呀鋸的鬧到半夜。我還以為他幫人家做傢俱，誰知道他只給那些孩子們做些好玩的。”
“快快打開樓門，讓我去看個究竟。”張太守那個急不可待的樣子，把老闆娘嚇壞了，她連忙把樓門打開。讓張太守查看。張太守上樓一看，沒見老人的影子，只見床上擺著一張繪製得精緻美觀的樓閣圖樣，桌子上還有十幾個木柁柁。老師傅們認真地翻了一陣，發現桌上正好有缺少的那個號碼的木柁柁，連忙拿回去一擺，便構成一份完整無缺的樓閣模型了。張太守和大夥拍手大笑起來：“這才是真魯班來了，一定要把他找到。”
可是誰也不知道他到什麼地方去了，張太守連忙派人到嶽州城內城外四處查訪。頭天沒找到，第二天還是沒影子，直到第三天清早，忽然有人前來報信，說有個白髮老人在湖灘上用石頭砌了一個拱洞，又在拱洞上面砌房子。張太守聽了，領著幾個人連忙趕到湖灘。可是那個白髮老人又不見了，只見那石頭砌成的拱洞上面，架起了一個非常美麗壯觀的樓閣，張太守指著湖灘上的樓閣模型，讚歎道：“此人才智非凡！看來用拱洞做樓基可算別具一格。這真是得天之助也！”他抬頭一看，只見一個白髮者人，手握一把尺子，正在對面高坡上丈量土地，張太守連忙問眾人：“前面可是……李魯班高興地叫喊起來：“正是他，正是那位老師傅呀！”
張太守趕上前去，一邊行禮，一邊說：“久仰師傅技藝超群，今日得見，真是三生有幸，敢問師傅莫不是姓魯？”白髮老頭連連搖頭說：“我姓盧，魯班是我的師傅。”“令師今在何處？請求指點，下官有事求見。”白髮者頭指著前面許多木工、泥匠說：“你看他正在那裡向老師傅們請教哩。”眾人順著他手指的方向看去，果然有個異樣的老人，興致勃勃地正在和工匠們談論著什麼。張太守領著大家趕過去一看，那些正忙著做事的木工泥匠，仿佛人人都像剛才看見的那個盧師傅，但又分不清哪個是真正的魯班。待他們回頭再去找那個姓盧的師傅時，只見地上留下一把尺子，上面清清楚楚刻了“魯班尺”三個字。
張太守急忙登上當年魯肅的閱兵台，面對八百里洞庭湖水高聲呼喊著：“魯班師傅——，請你再來喲——”湖面上，頓時遠遠近近響起了一片“來喲——來喲——”的回聲。這時，西邊天上，紅霞萬朵，仿佛有個白髮老人，乘著一隻白鶴，向水天盡頭飛升而去。木工、泥匠師傅們按照那白髮老人設計的式樣終於造成了樓閣，並以西城門拱洞作為樓基。
人們把三層飛簷拱取名為“魯班鬥”。由於這個樓閣位於天岳山之陽，所以大家就稱它為“岳陽樓”。