林聪彝16岁补府学生。早年"有经世之志",曾辑《先儒格言》。清道光二十一年(1841),随侍林则徐流戍伊犁,勘办开垦事宜,历库车、阿克苏、乌什等八域,著有《西行日记》,于垦边事务有所创见。后又随父督师赴粤。道光三十年,则徐卒于途,聪彝护柩归。
三年守制期满,林聪彝偕弟林拱枢应召入京,林聪彝以郡庠生,赏举人、补内阁中书。不久,被两江总督怡良挽留,办理团练兼赈抚事宜,升员外郎。
同治元年(1862年),由浙江巡抚左宗棠推荐,特授浙江衢州知府,充闽浙总粮台提调官。因功劳卓著,提升道员,署浙江按察使。同治三年(1864年)十月,太平军攻占福建漳州,进兵龙岩,臬司道府要员相继被杀,震动全闽。左宗棠急命清军救援。林聪彝献计由海路进兵,被左宗棠采纳。不到10天,清兵抵达福州,大批援军也陆续到达。次年五月,李世贤军队终于退出漳州。同治七年(1868年),林聪彝署杭嘉湖道,督修海塘,与民同甘共苦,前后5年,修建不少水利工程。因成绩显著,加品衔。同治十一年(1872年),林聪彝因病回福州。
光绪三年(1877年),浙江巡抚梅启照请林聪彝再出。刚好福州连年发生大水灾,上司获准疏浚河道,林聪彝被挽留在福州负责治水。他不辞辛劳,日夜奔走于江岸河边,终因积劳成疾,旧病复发,于光绪四年(1878年)五月病逝家中,享年55岁。
聪彝生前于同治年间,以文藻山故居不足容众,别营宫巷林家大院,门首仍悬林则徐“进士”匾。