胡素斐生于1920年,于1925年不幸夭折。
父亲胡适
胡适(1891年12月17日—1962年2月24日),汉族,安徽绩溪人。现代著名学者、诗人、历史学家、文学家、哲学家。因提倡文学革命而成为新文化运动的领袖之一。原名嗣穈,学名洪骍,字希疆,后改名胡适,字适之,笔名天风、藏晖等,其中,适与适之之名与字,乃取自当时盛行的达尔文学说“物竞天择,适者生存”典故。
母亲江冬秀
江冬秀(1890年—1975年),著名学者与文学大师胡适之妻。安徽旌德县江村人,江家是旌德县的望族。江冬秀的外祖父曾位至翰林,其舅母是胡适的姑婆。
哥哥胡祖望
胡祖望(1919年-2005年),旅居美国。
弟弟胡思杜
胡思杜(1921年-1957年),留在中国大陆,1954年被迫与胡适断绝父子关系,但仍被斗争,后于1957年反右运动中自杀身亡。