祖泽洪之父祖天定战死于萨尔浒之战，天启六年（1626年）九月，祖泽洪作为嫡长子袭父宁远卫都指挥佥事之职。

天聪五年（1631年）十月，他在大凌河之战中投降后金。

崇德元年 （1636年) 五月，拜吏部承政。六月，授一等梅勒章京世职，准袭十次。

崇德五年（1640年），任吏部左参政。

崇德七年（1642年），兼管牛录事。

崇德八年（1643年），壬午之变时在山东浑河桥击败明蓟辽总督范志完的军队。

顺治元年（1644年），改参政为侍郎，仍任吏部。

顺治二年（1645年），从定山西，于太原斩大顺军将领陈永福（一说未斩）。

顺治三年（1646年），从征西安，击败孙守法，又率本旗兵在商州击败二只虎、贺珍等抗清武装。

顺治六年（1649年），从征大同叛将姜瓖，克太原城，其后又围大同，取浑源、左卫、泽州、汾州、太谷五城。

顺治七年（1650年）九月，进一等精奇尼哈番，世袭罔替。不久，补为内弘文院学士，充纂修实录副总裁，仍兼吏部侍郎管梅勒章京事。后称病辞职。

康熙四年（1665年），病死，清廷赐祭。