吕大临和他的三个兄长吕大忠、吕大防、吕大钧均出身于一个世代书香的官宦之家,兄弟四人皆登及第,唯独吕大临气质刚强,尊张载教诲,“不留连科举”,更无心仕途,一生追求学术研究。当时,关中地区涌现出以张载为首的博学鸿儒,被后人公认为“关学派”。吕氏兄弟也被公认为关学大家。吕大临与他俩个兄长吕大忠、吕大钧投入张载门下求学,潜心研究《六经》,尤深于三礼(即《仪礼》 《周礼》 《礼记》 )的精研与实践。
吕大临虽然拜张载为师,但对二程也十分推崇。宋神宗治平三年(1066年),张载应长安京兆尹(西北的最高行政长官)王乐道之邀到长安讲学。在讲学期间,程颢、程颐兄弟来也关中讲学,吕大临听后觉得他们的学说很有见地,大为叹服。张载去逝之后,他便奔洛阳拜程颐为师。在此期间,他记录汇集二程语录,著成《东见录》,对后世学者研究“洛学”提供了很多难得的第一手资料。
吕大临虽转师二程,并成为程门高足,却不放弃关学的基本思想宗旨,不背其师,成为关学最有力的捍卫者。对此,二程就一再申明:“吕与叔守横渠学甚固,每横渠无说处皆相从,才有说了,便不肯回。”二程还说:“关中学者,以今日观之,师死而遂背之,却未见其人,只是更不复讲。”正因为关中学者不背叛其师之教、之说,所以,张载死后,关学虽不“复讲”,但仍然流传,拥有众多私淑弟子。
晚年开始对青铜器的收集与研究和文字注解。
元佑七年(1092),范祖禹以其学行和人品出众,向朝廷举荐他为太学博士讲官,但还没来得及任用,他就去逝了,时年仅四十七岁。