高欢夸赞

斛律羡年少时机智灵敏，尤其擅长射箭，曾获北齐神武帝高欢的夸赞。高欢死后，其子文襄帝高澄提拔斛律羡为开府参军事，受到高澄重用，历任征虏将军、中散大夫、安西将军、通州刺史，进封爵位为大夏县子。天保元年（550年），高澄次弟文宣帝高洋受禅登基，建立北齐，进号斛律羡为征西将军，另封显亲县伯。

防御突厥

河清三年（564年），斛律羡转任使持节，都督幽、安、平、南、北营、东燕六州诸军事，幽州刺史。同年秋天，突厥十多万兵众寇掠州境，斛律羡统领诸将抵抗。突厥部众见齐军军容整肃，而不敢交战，马上派来使者请求归附。斛律羡等人估计有诈，告谕突厥说：“你们这帮人此次行动，不是来朝贡的，而是准备见机起事。如果是真心实意，就应该迅速回到你们的巢穴中去，再派遣使者前来。”于是突厥退走。天统元年（565年）五月，突厥木杆可汗遣使请求朝贡，斛律羡将此情况向朝廷作了报告，从此开始，突厥朝贡岁时不绝。两方和好，斛律羡起到很大作用。诏令加任他为行台仆射。斛律羡认为北虏多次侵扰边地，为防不测，就从库堆戍直至东海边，依山势的屈曲计算，共计两千多里的线上布防，其中两百里中的险要之处，或劈山筑城，或断谷修造屏障，并置立戍逻五十余所。又导引高梁水往北与易京汇合，往东与潞联结，或灌田，或转运边地储集的粮草物资，于公于私都有好处。同年六月，因其父斛律金去世而辞官，不久与兄长斛律光官复原职，依然镇守燕蓟。

侍奉数帝

天统三年（567年），斛律羡加位特进。天统四年（568年），升任行台尚书令，另封高城县侯。武平元年（570年），加任骠骑大将军。当时斛律光之子斛律武都担任兖州刺史。斛律羡侍奉北齐数帝，因谨慎坦直而被世人推许，虽然极其荣宠，但从不自矜自夸，到此时由于合门贵盛，斛律羡十分担忧。所以就上书推辞，还请求解除自己所有的官爵，北齐后主高纬特意下诏不准许。同年秋天，进封爵位为荆山郡王。

受连遭杀

武平三年（572年）七月，斛律光被诛杀，高纬敕使（皇帝的使者）中领军贺拔伏恩等十余人乘驿马赶赴幽州逮捕斛律羡，又调领军大将军刘桃枝、洛州行台仆射独孤永业带领定州骑兵随后赶来，拟命独孤永业接替斛律羡的刺史职位。贺拔伏恩等抵达城郊，把守城门的士兵慌忙向斛律羡报告，还建议紧闭城门。斛律羡说：“朝廷派来的使者岂可不让进城？”出门相见，贺拔伏恩拉着他的手，将他捆绑起来，随即在长史厅处死。斛律羡临死前哀叹着说：“女为皇后，公主满家，出入有三百兵士护卫，如此富贵，怎能不败！”但朝廷宽宥了他的五个儿子斛律世达、斛律世迁、斛律世辨、斛律世酋、斛律伏护以及斛律家年十五岁以下的孩子。