巴特勒高中畢業時沒有收到任何獎學金邀請， 也沒有一家贊助商願意給他提供球鞋， 但是一個叫阿蘭·布朗奇的球探注意到了他。
“最主要的是他沒有那麼閃光， 也非天賦異稟， 他所處的環境也不好。 ”布朗奇談到當年的巴勒特時說道。
就當巴特勒為德克薩斯基督大學或者海德州大這樣的大學做準備時， 布朗奇把他推薦給了泰勒初級學院（兩年制的大專院校）教練邁克·馬奎斯。 巴特勒在球館裡和馬奎斯的弟子以及當地的一些高中生打了一場的比賽。 “邁克沒有看到巴特勒投籃， ”布朗奇說， “吉米好像打了4、5個回合， 做出了正確的傳球選擇， 搶了籃板，
對巴特勒而言， 在當時那種情況下， 泰勒初級學院是最好的選擇了， 那裡也可以成為他前往第一級別籃球學校的跳板。
巴特勒大學時期。
“一年之後， 我不認為那支NBA球隊會從一個初級學院選中他， 但我認為他有這個實力。
從一所沒有辦法參加大學一級聯賽的大專院校進入NBA的確是天方夜譚， 不過一次偶然的機會讓巴特勒認識了巴茲·威廉姆斯， 後者是馬奎特大學的助理教練， 當時他去泰勒初級學院招募一名叫喬·福爾斯的球員， 巴特勒是福爾斯的室友。
巴特勒和福爾斯在任何方面都會競爭， 他們打過無數次一對一鬥牛， 訓練前、比賽後， 甚至是深夜。 “我記得有多少次在早上或者深夜醒來， 看到他坐在床上， 盤著腿吃著餅乾，
“每次我去考察喬， 我都會和吉米打招呼。 ”威廉姆斯說。
福爾斯加盟馬奎特大學後， 巴特勒帶領泰勒初級學院打出了24勝5負的戰績， 得分領跑全隊， 而他的昔日室友也在不斷向教練推薦他。 在威廉姆斯成為馬奎特大學主帥後， 他簽下的第一個球員就是巴特勒， 福爾斯和巴特勒重新成為了室友。
“我認為從吉米來這裡的第一天到他畢業， 無論在場上還是場下， 他都變得更自信了。 ”威廉姆斯說。
三年時間裡， 巴特勒從來沒有逃過課， 訓練也從未遲到。 作為威廉姆斯的第一筆簽約， 他們身上都有著不小的壓力， 而在起初的一些困難時刻， 他們之間也建立起了不錯的關係。
大學幫助巴特勒很好的過渡。
巴特勒對籃球名校訓練和比賽環境的適應花了一些時間， 決心帶領馬奎特大學打出名堂的威廉姆斯總是“在你的心臟已經砰砰亂跳時， 擺出一付要把你的心剜出來的樣子。 ”回想起當時， 巴特勒會覺得自己要被威廉姆斯教練吃掉的樣子很可笑。 “他當時就是要吃掉我，”巴特勒說，“就像他總是把煙草嚼碎一樣。他沖你的臉噴口水，大吼大叫，讓人感覺很糟糕，但他可不管這些。”
“我對他非常嚴格，每天都是如此。生活中的每個方面我都不會讓他有所鬆懈，值得稱讚的是，他也從來沒有要求過這一點。我認為我們在一起時間久了，他養成了習慣，他喜歡這麼做，去做其他人的榜樣。”威廉姆斯說。
巴特勒說，他在馬奎特大學的三年時間裡學到的東西如今依然受用，他和威廉姆斯之間感情也同樣堅固。儘管進入NBA後，沒有了威廉姆斯的監督，但在大學期間的刻苦已經成為了一種習慣。
“他當時就是要吃掉我，”巴特勒說，“就像他總是把煙草嚼碎一樣。他沖你的臉噴口水，大吼大叫，讓人感覺很糟糕，但他可不管這些。”“我對他非常嚴格，每天都是如此。生活中的每個方面我都不會讓他有所鬆懈，值得稱讚的是，他也從來沒有要求過這一點。我認為我們在一起時間久了，他養成了習慣，他喜歡這麼做，去做其他人的榜樣。”威廉姆斯說。
巴特勒說，他在馬奎特大學的三年時間裡學到的東西如今依然受用，他和威廉姆斯之間感情也同樣堅固。儘管進入NBA後，沒有了威廉姆斯的監督，但在大學期間的刻苦已經成為了一種習慣。