少女时期的胡蝶1908年,胡蝶出生于上海提篮桥怡和码头附近的一幢普遍民房里。胡蝶3岁时,父亲胡少贡在姐夫唐绍仪(曾任北洋政府总理)弟弟的提携下出任京奉铁路总稽查,胡蝶幼年随父母迁居天津、北京、广州等地。胡蝶在这些奔波中,她学会了讲一口“京片子”、广东话、上海话。
胡蝶幼时,家里请了一位先生为她启蒙。8岁时,胡蝶进入天津天主教圣功女学就读,也由此胡蝶养成了读书的习惯。
胡蝶9岁时,全家移居广州,胡蝶进入广州培道学校(广州市第七中学)读书,胡蝶在广州度过她的少年时期。培道学校毕业后,胡蝶转入北京公立第一师范就读。
胡蝶16岁时,全家返回上海;同年,胡蝶考入曾焕堂所创办的中国第一所电影演员训练学校——中华电影学校。