祖大乐的父亲祖承教出身家丁，官至指挥佥事，万历二十六年（1598年）阵亡，祖大乐之兄祖天定袭职，萨尔浒之战时随刘綎东路军出征，战败阵亡。崇祯初，祖大乐在关宁军中累迁至都司，崇祯元年（1628年）七月二十五日，因长期拖欠粮饷，爆发宁远兵变，宁城十三营俱乱，惟祖大乐一营不动，获得崇祯帝嘉奖。

崇祯二年（1629年）闰四月，升游击。后升参将，在己巳之变后随袁崇焕入援京师。

崇祯三年（1630年）五月九日，他在孙承宗的指挥下随祖大寿等收复滦州、永平、遵化、迁安四城，因功升左军都督府署都督同知，任东协副总兵。

崇祯四年（1631年）九月，随吴襄、宋伟援救大凌河，兵败长山，逃回山海关。后与祖宽一起镇压农民起义，卢象升说：“援剿之兵，惟祖大乐、祖宽所统辽丁为最劲，杀贼亦最多”。

崇祯十四年（1641年），随洪承畴出援锦州，被困松山。翌年二月，松山城破，洪承畴、祖大乐等被俘。皇太极希望祖大寿投降，便释放祖大乐，送往锦州。祖大寿投降后，被清廷软禁，祖大乐则依然被任用，隶正蓝旗。

清军入关后，祖大乐随清军镇压农民起义及抗清武装。据多次出使清朝的朝鲜王子李㴭在顺治十三年（1656年）所记载，祖大乐在南方战死。