肃宗即位，征拜御史中丞，除子鱄为郎，令劝学省中。其冬，有日食之灾，严上封事曰：

臣闻日者众阳之长，食者阴侵之征。《书》曰：“无旷庶官，天工人其代之。”言王者代天官人也。故考绩黜陟，以明褒贬。无功不黜，则阴盛陵阳。臣伏见方今刺史、太守专州典郡，不务奉事尽心为国，而司察偏阿，取与自己，同则举为尤异，异则中以刑法，不即垂头塞耳，采求财赂。今益州刺史朱酺、杨州刺史倪说、凉州刺史尹业等，每行考事，辄有物故，又选举不实，曾无贬坐，是使臣下得作威福也。故事，州、郡所举上奏，司直察能否以惩虚实。今宜加防检，式遵前制。旧，丞相、御史亲治职事，唯丙吉以年老优游，不案吏罪，于是宰府习为常俗，更共罔养，以崇虚名，或未晓其职，便复迁徙，诚非建官赋禄之意。宜敕正百司，各责以事，州郡所举，必得其人。若不知言，裁以法令。传曰：“上德以宽服民，其次莫如猛。故火列则人望而畏之，水懦则入狎而玩之。为政者宽以济猛，猛以济宽。”如此，绥御有体，灾眚消矣。

书奏，帝纳其言而免酺等官。

建初元年，迁五官中郎将，除三子为郎。严数荐达贤能，申解冤结，多见纳用。复以五官中郎将行长乐卫尉事。二年，拜陈留太守。严当之职，乃言于帝曰：“昔显亲侯窦固误先帝出兵西域，置伊吾卢屯，烦费无益。又窦勋受诛，其家不宜亲近京师。”是时，勋女为皇后，窦氏方宠，时有侧听严言者，以告窦宪兄弟，由是失权贵心。严下车，明赏罚，发奸慝，郡界清静。时京师讹言贼从东方来，百姓奔走，转相惊动，诸郡遑急，各以状闻。严察其虚妄，独不为备。诏书敕问，使驿系道，严固执无贼，后卒如言。典郡四年，坐与宗正刘轶、少府丁鸿等更相属托，征拜太中大夫；十余日，迁将作大匠。七年，复坐事免。后既为窦氏所忌，遂不复在位。及帝崩，窦太后临朝，严乃退居自守，训教子孙。永元十年，卒于家，时年八十二。