在军事上，首先彻底击败夙敌月氏，斩杀月氏王，并且将月氏王的颅骨作为酒杯，威震西域。而后，老上单于稽粥凭借塞外的地理优势，看准了汉军无法远追匈奴，故而对汉朝采取“敌休我袭，敌进我遁”的游击政策，发起一些十分突然性的骚扰、入侵、掠夺，使汉朝防守上疲于奔命，每次整顿好兵力求战匈奴，匈奴就带着既得的掠夺品逃回塞外，使汉军求战不得。最大规模的一次是汉文帝十四年（公元前166年）冬，老上单于挥兵十四万直抵彭阳，其先锋人马火焚大汉回中宫，远哨铁骑逼近长安。汉文帝大怒，当即部署反击，以中尉周舍、郎中令张武为将军，发车千乘，骑十万，驻军长安旁以备应战匈奴。而拜昌侯卢卿为上郡将军，甯侯魏遬为北地将军，隆虑侯周灶为陇西将军，东阳侯张相如为大将军，成侯董赤为前将军，大发车骑往击匈奴。内史栾布亦为将军。老上单于胆怯，畏惧汉兵，避不敢战，不敢与汉军进行正面决战。留塞内月余后遁逃，汉军追出塞外后就撤军了，不能有所杀。 

兴老上单于畏惧汉兵，遁逃出塞。但此后数年之间，匈奴又连年入侵，偷袭抢掠云中、辽东二郡，每年被杀掠人口万人以上，而汉朝无奈，只得以亲和和岁贡安抚匈奴。老上单于也也接受了汉朝讲和的意见。两国以长城边塞为界，互不侵扰。汉文帝后四年（前一六零年），老上单于稽粥病逝，由他的儿子军臣单于即位。