北宋嘉祐二年(1059年),吕大钧中进士,被授予秦州(今甘肃天水)司理参军,后任延州(今陕西延安)监折博务、三原知县、后供(今福建福州)知县等职。
当被荐知泾阳时,父吕蕡病逝,他赶回奔丧。三年丧期满后,吕大钧自以为学识尚浅,于是他边辞官回到蓝田,开始传授张载学说,以“教化人才,变化风俗”为己任。
经过吕大钧多年努力,“关中风俗为之一变”。后来许多大臣都推举吕大钧为王宫教授,吕大钧不负重望,特写了《天下一家中国一人论》献上,文中描绘了建立“外无异人,旁无四邻,无寇贼可御,无闾里可亲”的共和大家庭的构思。不久担任凤翔船务官和制改宣议郎等职。
元丰年间(1078-1080),时值宋朝用兵西夏,吕大钧是富延(今陕西富县至延安一带)转运司副使。一次,种谔率兵已出塞外,可军需还没有接上,转运使李稷恐受军法,打算回安定(今陕北王家堡一带)取粮草,就派吕大钧向种谔请示,种谔得知后,怒道:“吾受命将兵,安知粮道,万一不继,召稷来,与一剑耳。”吕大钧替李稷求情,种谔听了吕大钧的解释,表示理解,但嘴上却说:“君欲以此报稷,先稷受祸矣!”吕大钧生气地说:“你以为这些话就能吓倒我吗?我奉命前来向你请示,你把我杀了,我毫无怨言,惟恐你会因此而受过。”种谔见吕大钧刚直不阿,只好同意吕大钧的意见,这才允许李稷免受处置。时间不长,吕大钧就在任上病逝,时年五十二岁。