早年经历
明弘治五年(公元1492年)吕怀出生于永丰(今上饶广丰),吕怀从小好学,十八九岁时,就思慕圣贤之学,经常一个人跑到僻静的小路上思考钻研,一天读到《延平语录》,里面教人观喜恕哀乐未表现出来的气象。吕怀便偷偷进行了尝试,积日累月,慢慢感觉气质渐次清明,钻研学问渐次得力。
其后师从湛若水,为湛氏的四大入门弟子(另三人为何迁、洪垣、唐枢)之一。
仕途生涯
嘉靖元年(公元1522年)吕怀登乡荐。嘉靖十一年(公元1532年)考中进士,选翰林第一,由庶吉士授兵科给事中,早期建储宫及薛从祀等疏。改南雍司业春坊左司直郎,历官右中允,以南京司业的身份掌翰林院事,吕怀一面在朝为官,一面钻研理学,著书立说,传播自己的学术思想。
传道授业
嘉靖四十年(公元1561年),唐伯元22岁中举,与潮阳周光镐结成莫逆之交,此后还成为姻亲。周光镐的父亲周孚先曾在南京与吕怀一同拜大学者湛若水为师。湛若水与王守仁一样主张知行合一,但特别倡导“随处体认天理”,以避免空谈良知,脱离社会实践,又避免“直任吾心”去胡乱实践。唐伯元与周光镐结识时,周孚先已去世,遂于明隆庆二年(公元1568年)一起到永丰(今江西广丰)石塘师从吕怀,学习吕怀的《三书本义》。
隆庆五年(公元1564年),唐伯元上京赴考,落第,遂独自回石塘,帮吕怀修订《历纪古义》。唐伯元从吕怀处接受了湛若水的学术观点,并使之更具实践性。
辞官还乡
后吕怀因不愿阿附权相,最终于南京太仆少卿任上致仕,辞官还乡。万历元年(公元1573年)吕怀辞世,寿过八旬。