李呈祥辞官归隐后,郡守以下,像候缄、陆同、曾仲魁、陈灿登,均具其行实,向朝廷极力推荐他,李呈祥闻之不悦,“夫仕君者,必量己量人,而后可人,己有可行之道,而人不能用之,不可出也;人能用己之道,而己无道可行,不可出也。当今君明相贤,无不可出。呈祥则才疏学短无道可行,非道不可行者。比此所以甘于隐遁,决不敢有蒙觊觎之心,以为知己者玷也。”,后巡按提学诸公赍勑来谒,俱避匿以拒。
李呈祥潜心研学,追随的人很多。如丁旦、施尧臣(明代青阳县人,嘉靖二十九年进士。)、邹守益(江西安福人,著名理学家、教育家。)、汪珊(贵池梅村人,正德辛未进士)、李一元(进士)、宋邦辅(东流县人,嘉靖五年进士)、柯乔(世居柯村,嘉靖八年进士)、孙湛及堂弟李崧祥、族侄李谦然、李沛然,无不拜其为师。
李呈祥曾筑尚志轩于池城小邱山,门人柯乔作《尚志轩记》,“…庶曰:天下有儒者乎?君得之宏业,民得之厚生,君子得之共济,小人得之革面,鸟兽虫鱼得之咸若,然求之天下不得也,而望之乎?先生聊以今日之志测之也,先生志明,而身诲不可谓穷平世之,具在焉。不可谓不豫,德成而人孚之,不可谓无知。至于气象之似,则豫章延平之后而仅见者先生也,…”。