自幼隨祖父習家傳武術， 少年曾在屠豬店裡當夥計， 後師從林福成和吳全美等名師， 並師從黃飛鴻二十餘載。 曾任福軍軍中武術總教練， 曾于清末參加廣州大型武術比賽， 獲第一名。 在廣州開過三家武館， 上世紀二十年代遷居香港以傳授武術為業， 並在當時開廣東拳師公開刊印拳譜先河， 先後刊行《工字伏虎拳》、《虎鶴雙形拳》、《鐵線拳》等拳譜， 在海內外產生了很大影響。 林世榮一生授徒萬餘人， 是成就最大的黃飛鴻嫡傳弟子。
1861年出生于平洲平北西河村。 1921年， 廣州孤兒院發起慈善籌款， 林到場表演武術，
關於林世榮， 民間流傳不少， 但見諸文字的檔案資料卻不多， 只有在其門徒朱愚齋撰寫的《林世榮正傳》、黃文啟的《先師林公世榮傳》中可見零星記錄。