俞大维出生于1897年（一说生于1898年），1915年在上海复旦大学附中毕业后，就考入上海圣约翰大学，以优异的成绩毕业，保送美国哈佛大学留学，研究哲学，得到哲学博士学位，以后又到德国柏林大学专攻物理和弹道学。

俞大维纪念馆1927年浙江省长陈仪派葛敬恩和蒋介石联系，参加国民革命军。事机不密为当时的五省联军总司令孙传芳所知，派朱梅村包围梅花碑浙江省长公署，将陈仪押送南京。后经人说项，总算无事。孙传芳失败后，国民政府定都南京。当时陈仪在南京尚无正式名义，于1928年派他到德国考察军事，实际上是向德国的兵工厂洽购军火，因为陈仪在日本士官学校毕业以后，又就读日本陆军大学第一期毕业，是正规的军事学校出身，对军械方面是比较在行的。陈仪不谙德文，对德国兵工制造情况也不甚了解，所以在出国以前，向各方探询我国旅德人士中是否有熟悉德国兵工制造方面的人员，以便到德国后作为一个咨询的对象。这时候国民政府的行政院院长是谭延闿，谭是湖南人，他的父亲谭钟麟也当过清朝巡抚，和俞家是世交。同时谭延闿的儿子谭伯羽这辰光也在德国柏林大学读书，所以陈仪临行的时候，谭延闿写了封信托陈仪带交谭伯羽。陈仪到了德国柏林以后，找到了谭伯羽交给他父亲的信札，同时问他有无懂得兵工制造的人才，谭伯羽就把俞大维介绍给陈仪。

陈仪在俞大维的协助下，经过几度的参观和研究讨论，和德国的军火商人签订了几宗军火交易，依照国外军火商人的规矩，凡是购买军火的都有5％的“回扣”。中国从清末的李鸿章开始，也都收受回扣。陈仪平生以廉洁自持，当时他拒绝收受回扣。可是俞大维却向陈仪建议：如果拒绝“回扣”，白白便宜了德国的军火商人，不如收了“回扣”，上交国家，这样于个人的清廉操守无损，而国家也有实利可得。结果陈仪采纳了俞大维的建议。陈仪回国后就把这项回扣上交，很为蒋介石嘉许，任命陈仪为军政部常务次长。这时候军政部长是冯玉祥。

俞大维于1932年回国，初时任国民政府参谋部主任秘书。这时陈仪是以军政部常务次长兼任兵工署署长，他赏识俞大维的才干，又是弹道学专家，所以向蒋介石保荐。在1933年俞大维就出任兵工署署长，副署长是洪中。

俞大维担任兵工署署长12年之久，在他任内对所属兵工厂竭力整顿，如购置新式机器，调整人事，改进沈阳兵工厂、汉阳兵工厂等，都是为当时所称道的。

在兵工署署长任内，俞大维也和旧官僚一样，喜欢引用亲戚故旧。当时兵工署内有句流行的话：“曾、左、余(俞的谐音)、孽(聂的谐音)。”原来兵工署里，有一位科长名叫曾昭六，是曾国藩的曾孙，也就是俞大维的表兄弟；兵工署的秘书左某某是左宗棠的侄孙；俞就是俞大维本人；兵工署里还有一位科长聂贻荪，美国留学生，是浙江巡抚聂缉椝的孙子、上海实业家聂云台的儿子，聂缉椝是曾国藩的女婿，所以聂贻荪也是俞大维的表兄弟。这四个人的姓氏合起来念，就是“曾左余孽”了。这句话，在当时兵工署内是尽人皆知的。1945年俞大维升任军政部次长，仍兼任兵工署署长。1946年改任交通部部长，离开了兵工署。

1949年俞大维随同蒋介石逃台，初任美援运用委员会副主任，1954年出任防务部门部长。后又被聘为台湾地区领导人办公室资政。

晚年，他关心海峡两岸关系，希望两岸和平，反对台湾独立。1993年7月8日，俞大维病逝于台北。