1861年,林世荣出生于南海县平洲镇平北乡西河村。林家在村里不算富户,祖父林伯善是一位乡间拳师,据说参加过太平天国。林世荣从6岁起就随祖父练功。少年曾在屠猪店里当伙计,10岁时,林被洪拳名手胡金星收为入室弟子,打下扎实根基。未几,林来到广州,入钟雄山武馆学习佛家拳。此后,17岁的林世荣投奔刘永福的黑旗军,从统领吴全美学到一套秦家金装锏。
后师从黄飞鸿二十余载。
民国七年(1918年),林世荣回到广州,在李福林的“福军”中任教,任福字军军中武术总教练,在河南海幢寺重开武馆,于清末参加广州大型武术比赛,获第一名。
民国10年(1921年),广州孤儿院发起慈善筹款,林世荣到场表演武术,受到孙中山先生称赞,孙中山以大总统名义向他颁发银质奖章。同年,他被广州人尊称为“虎鹤先生”。
20世纪三十年代,林世荣迁居香港,在香港洛克道开馆授徒,并开广东近代武术写作先河,著有《工字伏虎拳》、《铁线举》、《虎鹤双形拳》三书,在海内外武林中影响甚大。