伏无忌九世祖儒,系济南伏胜之后,武帝时人,因其客居东武教授,后世子孙遂居于此。无忌五世祖湛,曾辅佐光武成就帝业,被功封为不其侯,食邑3600户。公元37年(建武十三年)去世,光武帝赐葬,其声势甚隆。父晨,母为高平公主,女为顺帝贵人,孙完尚阳安公主,伏完有一女伏寿为献帝皇后,世代皇亲国戚,显赫一时。至三国时,伏寿被曹操所杀,宗族受到牵连,后世因而衰败。
伏无忌博学多识,继承家学,传习儒业。汉顺帝时,为侍中屯骑校尉。公元136年(永和元年),受诏与议郎黄景校定《中书五经》、《诸子百家》;元嘉年间(151—152年),又受诏与黄景、崔寔等人一起撰《汉记》。此时,他自采史料,册著事要,编成《伏侯注》(又名《伏侯古今注》)一书。《伏侯注》记事上自黄帝,下迄汉质帝,今有辑本1卷传世。