胡小石1888年8月16日生于南京。少承家学。
1909年毕业於两江优级师范学堂,该校曾先后更名为南京高等师范学校、国立东南大学、国立中央大学、南京大学;曾师从李瑞清、陈三立、曾农髯、郑大鹤、王静安、沈曾植等人。1910年,与同学杨仲子之妹杨秀英结为伉俪。
一生长期执教,曾在明智大学、武昌高等师范学校、西北大学、四川国立女子师范学院等校任教,历任北京女子高等师范学校教授兼国文部主任,云南大学教授兼文学院院长,金陵大学教授兼国文系主任,国立东南大学中文系教授、国立中央大学中文系教授兼系主任与文学院院长、南京大学中文系教授兼系主任与文学院院长,南京大学图书馆馆长。