马建忠,1845年2月9日(清道光十四年)生于江苏镇江府丹徒县一个天主教家庭。是《文献通考》作者马端临第二十世孙。父亲马岳熊,在家乡行医经商。兄弟中排行老幺,有四兄一姊。二哥马建勋早年受曾国荃拔擢,入李鸿章幕府,司淮军粮台。四哥马相伯是震旦大学、复旦大学的创办人。外甥朱志尧是上海求新机器厂创始人。
马建忠从小学晓中国传统经史,五岁就谂考科举。1853年(咸丰三年),太平军攻入南京,马家遂搬去上海躲避战乱。马建忠与四哥就读中西学并重的天主教耶稣会徐汇公学(College of St. Ignace),学习法文和拉丁文等课程,同时准备科举,后与其四哥同为该校首届毕业生。1860年,英法联军攻占北京,火烧圆明园,刺激了少年的马建忠,对那些“绝口不谈海外事”的士大夫非常不满,“决然舍其所学,而学所谓洋务者”。他搜寻各种西方新学的译著,如痴如醉地研读。又入耶稣会在上海设立的初学院作修士,继续学习法文、拉丁文、英文、希腊文等外语。经过十余年的刻苦努力,成了一位“善古文辞,尤精欧文,英、法现行文字以至希腊、拉丁古文,无不兼通”的学贯中西的新式人才。
马相伯、马建忠兄弟是中国近现代史上的一对传奇人物,他们曾代表清廷出使朝鲜,除杰出的外交才能外,他们都有极深的语言学造诣。马建忠是晚清商界的风云人物,在他退而著述时,写出了中国现代语法的奠基之作《马氏文通》。马相伯是震旦大学、复旦大学创办者,之后他又和英敛之在北京创立辅仁大学。在著名的“七君子”案中,马相伯获得了全国人民的尊敬。