赵与莒、赵与芮兄弟祖上虽是宋朝宗室，但已属远支，其父赵希瓐不过是一个九品县尉，到他们这一辈甚至连荫嗣都没有，过着普通百姓的生活。在赵与莒7岁、赵与芮4岁时其父便已过世，母亲全氏无力抚养这对兄弟，不得不寄居在娘家。由此可见，即使赵与莒、赵与芮兄弟真是宋太祖的后人，但也已经与一般平民无异。赵与莒、赵与芮兄弟之所以出现在政治舞台上，完全得益于太子赵竑与史弥远之间的争斗。

因宋宁宗弟沂王（一说是宋宁宗从弟，两人皆宋孝宗亲孙）独子赵贵和以皇侄身份被宋宁宗立为太子，赐名竑。沂藩失嗣，宋宁宗便委派史弥远选宋太祖十世孙中贤者立为沂王嗣子。史弥远派亲信余天锡物色宗室子弟，以便将来替代赵竑。余天锡四处寻觅，始终没有找到合适的人选。嘉定十四年（1221年），余天锡回乡时路过绍兴，天降大雨，余天锡刚好到赵与莒的舅舅全保长家避雨。全保长听说余天锡是史弥远的门客，便刻意巴结，还将外甥赵与莒（即后来的宋理宗赵昀）介绍给余天锡，说赵与莒是宗室子弟。余天锡大喜过望，将赵与莒带到临安。史弥远见赵与莒相貌端正，心中很是喜欢，便让赵与莒写字。赵与莒竟然写下“朕闻上古”四字。史弥远叹道：“此乃天命！”于是决定培养赵与莒。

公元1222年，赵与莒被立为宋宁宗弟沂王嗣子，赐名贵诚，有了宋宁宗皇侄身份。

公元1224年，南宋第四代皇帝宋宁宗赵扩驾崩，权臣史弥远矫诏废太子赵竑，立皇侄赵贵诚为太子，改名赵昀，便是后世的宋理宗。

宋理宗继位之后，追封生父赵希瓐为荣王，这样，作为宋理宗唯一的亲弟，赵与芮以荣王嗣子的身份登上了历史舞台。不过，史上对这位南宋荣王着墨不多，可能是因为赵与芮才智不显，而又不以骄横跋扈出名吧。

宋理宗在位40年，赵与芮以皇帝唯一亲弟的身份享受荣华，可能源于幼时的颠沛流离、寄人篱下的生活，与芮对亲王的生活特别知足。公元1240年，其唯一的儿子赵孟启诞生，便是后来的宋度宗。

宋理宗曾经有两个儿子，即永王赵缉和昭王赵绎，但都夭折了。此后，后宫再没有为宋理宗生下皇子。吏部侍郎兼给事中洪咨夔曾建议宋理宗选宗室子弟养育宫中，择其优者为皇子，但宋理宗此时刚过中年，仍然希望后宫能产下一子，所以没有采纳。淳祐六年（1246），宋理宗已经年过40，仍然没有儿子，而立储之事已经不能再无限期拖延下去，遂开始物色皇子人选。从感情和血缘关系来讲，宋理宗理所当然地倾向于亲弟荣王赵与芮的儿子赵孟启。年仅6岁的赵孟启被立为太子，赐名禥。

景定五年（1264年），宋理宗驾崩，赵禥继位，是为宋度宗。

咸淳十年（1274年），宋度宗驾崩，宋恭宗继位。

德祐二年（1276年），临安城被元军攻克，赵与芮和皇嫂、太皇太后谢道清，孙子宋恭宗被带至元大都。元世祖孛儿只斤·忽必烈授宋福王赵与芮金紫光禄大夫、检校大司农、平原郡公。

在大都，赵与芮生活了11年，在经历了儿子、孙子的死难之后，也许变得更加低沉。为了减弱元世祖的猜忌，保住南宋血脉，他向元世祖孛儿只斤·忽必烈贡献出了他的全部家产，宗室得以保全。

元至元二十四年（1287年），原南宋荣王赵与芮薨逝，享寿八十，善终。