初仕后汉

李崇矩年幼时孤贫，有善行，被乡里人所推许佩服。后汉高祖刘知远在晋阳起兵，驻扎在上党，史弘肇当时任先锋都校，听说李崇矩的名声，召来担任亲吏。

乾祐初年（948年），史弘肇总领禁兵兼任京城巡检，常常残杀军民，身边的部属害怕，慢慢都离开了他，只有李崇矩侍奉他越发严谨。乾祐三年（950年），史弘肇被诛杀时，李崇矩得以身免。

郭威称赞

后周太祖郭威与史弘肇向来交情很好。广顺元年（951年），郭威即皇帝位，建立后周。郭威继位后，访求史弘肇的亲属故交，得到李崇矩。对他说：“我与史公得到后汉的厚恩，同心尽力，共同辅助王室，被奸邪构陷，史公最终遭到大祸，我也仅仅得以身免，你是史氏家的故吏，请你替我寻找他家的近属，我要怃恤他们。”李崇矩推荐史弘肇的舅舅福（名福，姓氏不详）。李崇矩历来主持史弘肇家的家事，把财产都收集拢来交给福，郭威称赞他，把他收用在后周世宗柴荣（郭威皇后的侄子）军中。

显德初年（954年），李崇矩补任供奉官。跟从柴荣征伐高平，因战功转任供备库副使，又改任作坊使。

显德六年（959年），柴荣去世，后周恭帝柴宗训即位，命李崇矩向南唐告哀。李崇矩回来后，被任命为判四方馆事。

平定叛乱

建隆元年（960年），后周殿前都检点赵匡胤，发动陈桥兵变，篡夺后周天下，建立北宋王朝，是为宋太祖。

建隆元年（960年）四月，昭义军节度使李筠叛乱，宋太祖命李崇矩率领龙捷、骁武左右射禁军数千人驻屯河阳，率领所部兵马进攻大会砦，将其攻克下来，斩杀敌兵五百人。改任泽、潞南面行营前军都监，与石守信、高怀德、罗彦瑰在碾子谷共同大败李筠的部队。泽、潞平定时，派李崇矩先入城，收管图册，管理府库。李崇矩于是上言说：“上党是我的故乡。我的父亲还是用槁草埋葬，希望能让我护送棺材回到京师。”宋太祖答应他的要求，赏赐很多。部队回到京城，正遇判三司张美出任地方官，朝廷任命李崇矩为右监门卫大将军，充任三司使，跟从宋太祖征讨李重进，回朝后任宣徽北院使，仍然判理三司。

任枢密使

乾德二年（964年），李崇矩代替赵普担任枢密使。

乾德五年（967年）三月十七日，加官检校太傅。当时剑南刚刚平定，禁军军校吕翰聚众作乱，军队里亡命之徒很多。在他的营中，有人上言请求诛杀他们的妻子。宋太祖犹疑不决，告诉李崇矩。李崇矩说：“叛亡之徒固然应当诛杀，但按名册应当诛杀的有几万人。”宋太祖说：“我惟恐有人是被他驱使而作乱，并非出自本意。”于是下令全部释放。吕翰的军队士兵听说后，慢慢回家了。不久，吕翰败灭。

贬谪出京

李崇矩画像开宝元年（968年），李崇矩跟从宋太祖征伐北汉。军队班师回朝途中，任命李崇矩为后殿，驻扎在常山。恰逢李崇矩染上疾病，宋太祖派太医诊治，命他乘凉车回京城。李崇矩叩头说：“凉车是天子的座车，让我乘坐此车是加速我的死亡啊！”坚决谢绝得免。

当时赵普任宰相，李崇矩把女儿嫁给赵普的儿子赵承宗，两家交情友善，宋太祖听说后不高兴。有个叫郑伸的人，在李崇矩门下当门客仅十年，性情险诈没有德行，李崇矩对他慢慢疏远，郑伸怀恨在心，于是上书告发李崇矩的阴谋。李崇矩不能自己辩明。宋太祖不予查问，让他出京任镇国军节度，赐郑伸同进士出身，任命为酸枣主簿；仍然赐给李崇矩器币、裘衣、银带。

开宝六年（973年），李崇矩入朝任左卫大将军。

去世赠谥

开宝九年（976年）十月，宋太祖去世，其弟晋王赵光义即位，是为宋太宗。

太平兴国二年（977年）夏天，黄河河防常常决口，宋太宗诏令李崇矩乘驿马从陕到沧、棣，巡视河堤。这年秋天，出京任邕、贵、浔、宾、横、钦六州都巡检使。不久，改任琼、崖、儋、万四州都巡检使，部下军士都害怕他，李崇矩拿出所有的器皿金帛，一共值钱数百万，全部分给军士们，他们才被感动。当时黎贼扰乱，李崇矩到他们的洞穴一一加以抚慰，把自己的财物赠送给酋长，黎人都感德归附。换任回朝，授任为右千牛卫上将军。

雍熙三年（986年），宋太宗命李崇矩代替宋偓，担任判右金吾街仗兼任六军司事。

端拱元年（988年），李崇矩去世，终年六十五岁。朝廷追赠太尉，赠谥号为元靖。