唐贞观年间，冯元常举明经及第，初授浚仪县尉（今河南省开封市）。唐高宗即位后，累迁监察御史。后为剑南道巡察使，兴利除害，得到了蜀地百姓的拥护。永淳中，冯元常升为尚书左丞，因其处事得当、见识超群、知人善任、能定边疆，深得高宗的赏识和信赖。高宗晚年多病，命百官奏事都先交与冯元常评处后再奏闻，此时的冯元常职同宰相。冯元常曾私下劝谏高宗抑制皇后武则天的权力，高宗虽未采纳谏言却深表赞同，武则天知道此事后，便对其深恶痛绝。

弘道元年（683年），唐高宗驾崩，武则天以太后的身份临朝称制，各地都争相进献符瑞，有嵩阳县令樊文进献了一块瑞石，武则天命人将其摆放在朝堂上给百官观赏，冯元常当即奏道："这种事纯属谄媚狡诈，不可以此欺瞒天下！“ 武则天闻言大怒，当即贬其为陇州刺史。不久，朝廷在乾陵举行高宗皇帝的葬礼，按照礼制，全国重要州郡的刺史都要来乾陵祭拜，武则天不想让冯元常回来，便改任其为眉州刺史。在眉州时，冯元常恩威并施、不费一兵一卒便平定了剑南的山贼叛乱。后又转任广州都督，武则天不让他回京叙职，令其顺道赴广州，此后又身先士卒、率兵渡海平定了安南首领的叛乱。

冯元常担任地方官期间，虽然屡有政绩、累建大功，却因遭武则天忌恨而得不到朝廷的奖赏。先后三次徙职，均不得返回京师叙职。最后又遭酷吏周兴构陷，奉诏回京领罪，终被下狱害死。此后，武则天称帝，改国号为”周“。

神龙元年（705年），武则天去世，唐中宗复位，恢复大唐国号，忠于唐室的冯元常也得到了朝廷的平反昭雪。神龙二年（706年），中宗皇帝为表彰冯氏三代忠烈，特地下旨旌表冯家，在其门大署曰“忠臣之门"。当时天下人对冯慈明和冯元常的气节都大为赞赏，凡名门望族皆愿与冯氏通婚。

冯元常有一位堂弟名冯元淑，是其叔父冯捷之子。冯元淑曾任清漳、浚仪、始平等县的县令，为政扬善惩恶，被当地百姓称为“神明”。冯元淑生活异常简朴，与奴仆们一天之吃一顿饭，马匹一天也只喂一顿草料。冯元淑任职所至均不携带家眷妻儿，俸禄有多余的都用来周济穷人。有人嘲讽他太在乎名声而让自己这么苦，元淑回答道：“我天性就是如此，并不觉得苦。”唐中宗知道后，便下诏慰劳勉励他，又让史官把他的事迹记录下来。元淑为官简朴廉洁，超过了其兄元常，但是却不如元常刚毅忠直。最终以祠部郎中致仕。