清同治六年（1867），随乡人飘洋过海到爪哇巴城（今印尼雅加达）谋生。起初到一间商店务工，平日省吃俭用，几年后，积下了一笔钱，便自设商店经营。由于他为人忠诚可靠，恪守信用，多谋善贾，商业务日益发展。先后在南洋各埠和港、澳地方开设商店，经营出入口庄、百货、炮竹等的商号不下数十间。20世纪初，他鉴于香港已成为交通枢纽和国内外货物集散地，遂与堂叔潘立斋一起在香港合资开设兼营出口、汇兑和旅店业的商号“万安通记”（位于香港德辅道中永安公司对面，今商业大厦大同酒家原址）。很快，“万安通记”就发展成为香港有名的商号之一。潘祥初发家致富后，未忘家乡的亲友，多次招聘、接纳同乡到他在海外经营的商店供职，并着意培养他们，支持、协助他们走上从商致富之路。南口镇侨乡村的著名富商潘植我、潘君勉等，就是在他和堂叔潘立斋的扶植下，成为著名的侨商巨子。潘祥初饱尝幼年失学之苦，发家致富后，不忘振兴家乡教育事业。光绪二十八年(1902年)，他与堂叔潘立斋一起，捐资在家乡南口寺前村兴建毅成学校（今安仁学校前身），接纳邻近各族姓子弟入学，办学经费全由潘祥初、潘立斋两位创办人共同承担。抗日战争爆发后，毅成学校改为安仁初级中学校，在南口圩镇旁建三层楼房的新校舍，附设高小班，为家乡培育了不少人才。同时捐资建造两座铁桥和贯穿全村的石灰路，方便乡民来往出入。光绪三十四年(1908年)，潘祥初和潘立斋在南口镇圩场中心地段，合资建筑一条新型的街道，取名“永发街”。街道两旁，兴建了整齐的16间两层楼房的店铺，出租给乡人经营土特产、日用百货、食物、饮食业等。并将这些商店的租金收入，全部交给安仁中学作办学经费。潘祥初当年与著名爱国诗人丘逢甲交谊甚笃。丘逢甲曾作诗赠潘祥初，诗云：“大隐在城市，天南见此人。我来沧海上，相遇粤江滨。笑谈情文古，交游意气真。为君吟赠句，一掉五洲春。”潘祥初晚年曾在家乡居住，1911年在香港病逝，终年61岁。