青年时在嘉应州官刘清泰手下任小吏。不久,林绍斐往广州做工,后往返于广州与三水县之间 ,经营商业。后往广西 , 投广西提督苏元春边防军处任职 , 由录事而掌文案。历任广西新军营长,广西陆军第一师第四标标统。1885年广西陆荣廷 、莫荣新两军阀愿归顺,当局派林绍斐前往安抚。清政府委派陆荣廷为桂军统领,林绍斐为副统领。期间,林绍斐曾任宁明同知、凭祥知县,官至龙州知州、边防防汛督办。1911年11月下旬 , 林绍斐受命为广西代表之一前往南京参加筹建中华民国临时政府会议。民国成立后,陆荣廷为广西提督兼民政长官,林绍斐兼任民政公署秘书长。1912年12月29日由北洋政府授陆军少将。1913年任广西都督府参谋长。1914年,中央颁布各省设镇守使,林绍斐出任广西都督府参谋长兼桂平镇守使。1915年被任为北京将军府文威将军。1916年任广西北伐军总司令部参谋长。1922年1月,被北洋政府授予将军府翼威将军。1923年任广西沈鸿英部靖国军总参议。1924年7月再度被北洋政府授文威将军。后任段祺瑞北京临时政府军事善后委员会秘书长。他在北京任职共达15年之久。沈鸿英部被新桂系李宗仁、黄绍竑等击败后,潜居上海。1928年在北京逝世, 终年79岁。