成化十八年（1482）四月十八日，生于京邸。自幼颖异不凡，七岁时，塾师授以句读，过目成诵，应对敏捷，动止若成人。师从文坛大师李东阳，为李东阳所器重。

弘治十四年（1501），以父亲谢迁三品考绩恩，入国子监读书。秋，考中顺天府乡试第一名。

弘治十八年（1505），会试第四名，廷试第一甲第三名，授翰林院编修。

正德二年（1507），回乡省亲。

正德四年（1509），身为内阁成员的谢迁，上疏请诛奸宦刘瑾，皇上非但不听，还将谢迁罢官遣乡。受父亲牵连，谢丕也被贬斥为民。刘瑾被诛，父子官复原职。父子在家乡，将本来荒芜的山丘之地的一丘、一壑、一石、一草、一木营建成“肥遁”、“嘉遁”两座庄园，“其奇秀与夫烟岚，雪月风云之变，鱼鸟之态，耕牧渔樵之侣，增其美胜，品题嘲弄不一而足”。每日与高人雅士以宴游观赏为乐。谢迁在家乡喜欢接近年轻学子，谢丕更是注意奖掖隽异之才，使他们多有成就。他从事教育比较看重经义治事，有宋湖学风，居乡达十六年之久。

嘉靖帝即位，奉诏征用。

嘉靖三年（1524），恢复编修之职，升俸一级，参与编纂《明武宗实录》。

嘉靖四年（1525），书成，升为左春坊左赞善，赐白金、文绮。八月，与翟銮主考顺天府乡试，所选多为饱学之士。

嘉靖六年（1527），升太常寺卿，提督四夷馆，兼翰林院侍读。同年，父亲谢迁再度入阁。

嘉靖七年（1528），充经筵日讲官，士林荣之。不久，谢迁乞休，谢丕欲请告扶侍南归，谢迁止之说：“日讲臣子效忠启沃，时也，毋苟旷弗果”。

嘉靖十三年（1534），任太常寺少卿，兼翰林院学士，掌院事，赐云雁袭衣、《四书大全》。

嘉靖十四年（1535），孝静毅皇后梓宫发引，特命捧主。明世宗殿试天下贡士，命谢丕为读卷官。孟冬时，享太庙，特遣行礼，屡赐银币书籍。谢丕以礼侍日讲，未有翰林带衔，会推兵部侍郎李廷相充讲职兼翰林院，谢丕奉内批兼翰林院学士。谢丕每次进讲必“敷陈剀切，仪观详雅。”皇上也格外倾注，由此“宠渥日深”。遣祭先师庙，从幸山陵，赐孔雀袭衣、金带、银瓢诸物。修饬七陵，预建寿宫，命谢丕同大学士顾鼎臣往祭天寿山之神。不久，转为吏部左侍郎兼翰林学士，仍掌院事。东宫诞生，遣祭内殿，恩赉有加，荫子入国子监读书，随命充管录累朝宝训实录官，同修《大明会典》，捧孝肃、孝穆、孝惠三后神主奉安陵殿。

嘉靖十六年（1537），丁母忧，遣官谕祭，赐宝镪，给驿归其丧，仍遣官祭葬。服阕，巡按传公具疏荐起，谢丕不应，修谱牒，创宗祠，置义仓、义学，施药饵以拯贫病，造桥梁以济往来乡人，绝意世用。病时，命诸子曰：“吾生荷国恩，已溢涯分，莫可报身后慎，勿乞恤典”。卒年七十五，追赠礼部尚书，赐祭二坛。