四岁能识文，七岁会文章，十七岁时，因考进士不第，即弃文就武。当时国局动荡，朝廷腐败，他得悉吴越（今江苏、浙江一带）有个叫钱镠的，时任都指挥使，胡公认定钱“雄略不凡”，就前去晋见，并和钱取得共识。钱很看重胡，就留他在身边“参赞军机”（帮助军中理事）。

唐中和二年（882），胡公帮助钱镠打败了刘汉宏之乱，平定淮南、苏湖、常州、润州（江苏丹徒）等地。胡公也由马步都虞候、武功大夫、武都指挥使，渐升为越州兵马使。

晚唐昭宗天复二年（902年），徐绾、许再思乘钱镠外出叛钱攻城。钱镠的儿子钱传瑛拒叛紧闭城门。钱镠与胡公闻讯急归，但不能入城。胡公就与徐血战，引走主力，使钱得以微服逾城而入。徐、许战不下钱，就向吴国杨行密求救。钱悉此讯，怕吴出兵伐钱，就携重金到杨处劝说，并许以厚愿，要杨勿去援徐之兵。杨答应了，但要钱的儿子作人质。钱无奈，只得派他的第七个儿子钱元瓘到田頵地方去作质押。胡当时也作为侍卫随元瓘左右于宣州。没多久，恰逢田頵暴亡，人质之事不了了之。元瓘和胡公返回钱王处。从此胡公深得钱镠和元瓘信任。天佑元年（904年），镠特为此造功臣堂，记有功将士50余人，胡公名列榜上第二位。

后梁开平元年（907年），钱镠封为吴越王兼淮南节度使。胡公也升为常、润等州团练使。贞明三年（917年）胡升为常润二州防御使。同光元年（923年），他受钱王派遣，登莱州促使该州归顺后唐。正因有此大功，胡公被唐庄宗封为吴越钱王下兵部尚书右丞，第二年，又被钱王加封为吴越兵部尚书。

长兴二年（931年）钱武肃王（镠）卒。三年（932年）子元瓘文穆王袭位。王“推旧恩”加胡公为大将军，可“剑履上殿”。天福六年（941年）文穆王卒。子弘佑立，称忠献王。王年少不更事， 国内连年兵乱。李仁达乘机挟附福建李景反叛，诸将均惮行无忌。胡公于危难中忠心为主，统领水陆大军，大败李景，平叛取福建而返，为此，威望大增。

天福十二年（947年），忠献王卒。弟钱弘倧袭位，暴戾荒淫。胡公“数谏”，但弘倧反存厌烦之意。甚至当场示“怒”，“掷笔水中”，语带讥厌。“进思不能平”，当夜，“率甲士三百人，迁倧于别馆，迎弘俶立之。”（新《五代史》）弘俶乃弘倧之弟，废倧立俶后，俶称忠懿王。王拜胡公为尚父，佐理吴越政事。

天福十五年（950年），胡公已九十三岁高龄、他想到自己年事己高、国家动荡不安，更担心当时年仅十七岁的小儿子胡庆的未来，他叹息道，“职位已到相当于相国，可以说够荣耀了，但还是常常要受到各种各样的牵制。人老了，再不走，恐怕要引发我整个家族的祸患。”于是他称病辞官推辞钱王多次亲临劝说，带着小儿子胡庆，辗转到奉化篷岛定居。

显德二年（955年），胡公已98岁高龄。他位不在政，心却念念不忘钱氏王朝。他见朝廷“自相图位，内难将作”，于是在乡下过三年后，又匆匆上杭州，企图作以调协，不料刚到公署，就闻悉已发生变乱，忧愤之下，发了背疸，终不能治。遂于该年三月初一辰时“疽发背卒”，逝于杭州。