早年经历

卢怀慎年轻时廉洁谨慎，后考中进士，历任监察御史、吏部员外郎。

神龙元年（705年），唐中宗复辟，将武则天迁居上阳宫，并十日一去朝见。卢怀慎时任侍御史，进谏道：“昔日汉高祖称帝后，五日朝见太公一次，是因为他以布衣取天下，故将尊贵归于父亲。如今陛下遵循成法、继承皇统，怎可效仿汉高祖？应天门离提象门不过二里，骑马不能成列，乘车不能并行，陛下屡经于此，万一有愚人犯驾，又该如何？臣认为应该将太后接到内朝奉养，不劳陛下出入。”唐中宗不听。

切谏时政

景龙年间，卢怀慎改任右御史台中丞，又上疏朝廷，评论时政得失。他主要提出三条主张：

1、诸州都督、刺史、别驾、长史、司马、畿县县令任职不满四年，不能迁官。政绩优异者，可加赐车马裘服，可提高俸禄官秩，可派使节慰问，可下诏书劝勉，需到有公缺之时再加以提拔。对于毫无政绩、贪婪暴虐者，则免官放归乡里。

2、将员外官中有才能可以担任地方长官或高级僚佐的官员，加以升迁外放，由朝廷核查政绩。年老有病不能任职者，一并停罢。

3、因贪赃而被停罢官职者，罢官不到十年，不得加以录用。

奏疏呈上后，唐中宗仍不采纳。

担任宰相

景云元年（710年），唐睿宗复位，任命姚崇为兵部尚书、陆象先、卢怀慎为兵部侍郎，整顿中宗以来混乱的武官选举制度。后来，卢怀慎又改任黄门侍郎，封渔阳县伯。

开元元年（713年），卢怀慎与魏知古一同到东都洛阳主持铨选事务。不久，唐玄宗将卢怀慎召回长安，任命他为宰相，授为担任同中书门下三品。

开元二年（714年），卢怀慎代理黄门监。当时，薛王李业的舅父王仙童侵凌百姓，遭到御史弹劾。李业为他向皇帝求情，唐玄宗便命中书门下进行复审。卢怀慎与中书令姚崇奏道：“王仙童的罪状清楚明白，御史的弹劾并无冤枉之处，不能对他放纵宽宥。”唐玄宗遂命结案，从此皇亲国戚都收敛气焰。

开元三年（715年），卢怀慎被正式拜为黄门监，并兼任吏部尚书。当时，姚崇因儿子去世，告假十余天，以致政务堆积如山。卢怀慎对此无从决断，惶恐不已，向玄宗请罪。唐玄宗道：“朕将天下之事委付姚崇，只是想让您对雅士俗人起镇抚作用。”

病重去世

开元四年（716年），卢怀慎病重，上表乞归骸骨，请求退休，得到唐玄宗的批准。同年十一月，卢怀慎病逝，并上遗表，向唐玄宗推荐宋璟、李杰、李朝隐、卢从愿。唐玄宗感叹不已，追赠卢怀慎为荆州大都督，谥号文成。

开元六年（718年），唐玄宗在打猎时，途遇卢怀慎的家人在进行大祥祭祀（去世两周年举行的祭礼），便赏赐缣帛等物，停止打猎，停在卢怀慎的墓前停马注视，泫然流泪，让中书侍郎苏颋草拟碑文，并亲自书写，又命官府为其立碑。