辅广的父亲辅逵，字彦达，宋高宗南渡时，隶杨沂中麾下，累立战功。历官左武大夫、邵州防御使，后知泰州。晚年迁居崇德永新乡，遂为崇德人。有四子，广居次，生于军中。

辅广自少倜傥有大志，然而四试不第，专攻周敦颐和二程学说，先后师事吕祖谦和朱熹，深为朱熹所重。与黄干(勉斋)同门，相友善。黄称性有善恶，辅称性无善恶，互相发明，时人称之为“黄辅”。宋宁宗庆元(1195～1200)初，朱熹理学被斥为“伪学”，学者多避去，独广不为所动，甚至卖产业人京师，居太学之南以侍奉朱熹．广以卫道者自任，仍与同志士子质疑问难，志不少屈。朱熹当“年来无朋友共讲，有话无分付处”时，得此独立不惧之弟子，极为嘉叹，说：‘当此时立得脚定者甚难。惟汉卿风力稍劲。”时以书信往还，有七封信收入朱子文集中。广与魏了翁友善，每相遇，必出朱子文章相诵读研讨．嘉泰年间(1201～1204)归里，在崇德县筑传贻堂(咸淳五年改为传贻书院)，教授学生．取传之先儒以贻后学之义，以躬行实践挽回颓风为办学宗旨。学者称传贻先生。开禧年间(1205—1207)朝廷与金兵议和未成，欲请辅广前往。时党禁已解除，广仍以“考亭诸生，老不称使”固辞。开禧三年，韩侂胄被诛杀，明年，“嘉定更化”，人以广卫道扶世有功，推荐入仕，亦力辞不就，只食祠禄。