公元198年(建安三年),吕布被曹操打败和诛杀后,袁涣就跟随曹操。
袁涣曾对曹操说“武器,是一种凶祸之器,万不得已才使用。用高尚的品行来影响他人,用仁义的思想来感化他人,同时安抚那里的百姓,替他们扫除危害。这样,百姓才可以和他们同生共死。您洞明事理举世罕见,古人用来争得民众的方法,您已经勤勉地实行了;当今官府失去民众的弊政,您也已经引以为戒了,四海之内依靠您得以免于危亡的灾祸,然而百姓还不懂得仁义,希望您教导他们,那么真是天下的福分了。”曹操很欣赏地采纳了他的建议。
当时刚刚招募百姓去开垦荒地,百姓都不愿意,纷纷逃离。袁涣对曹操说:“百姓安于乡土,不愿轻易迁移,千万不能突然让他们离开故土,顺着他们的意愿容易,违背他们的意愿困难,应该顺着他们的心意,愿意去垦荒的就让他们去,不愿意去的不应勉强。”曹操采纳了他的意见,百姓非常高兴。
后来袁涣升任梁相,治理政事崇尚教育引导,本着宽恕的原则思考后再去实行,外表温和而内心果断。
袁涣每每告诫各县:“务必要抚恤鳏夫、寡妇、高龄老人,表彰孝顺的子孙和贞节的妇女。常言说‘世道安定礼仪就周详,世道动乱礼仪就简略’,这个分寸全在于临事斟酌。现今虽然仍不太平,难以推广礼仪,然而这也在于我们怎样做了。”袁涣为政崇尚教化训育,凡事宽容思虑以后才行动,外表温和柔顺而内心能够决断。袁涣因病辞官,百姓思念他。后袁涣被任为谏议大夫、丞相军祭酒。先后得到的赏赐很多,都被他分送了,家里没有什么积蓄,他也始终不过问家中产业,匮乏了就从别人那里去取,不做貌似清白明察的举动,然而当时的人都佩服他的清廉。
公元213年(建安十八年),曹操称魏公,建立魏国,袁涣任郎中令,行使御史大夫的职权。袁涣对曹操说:“现今天下大难已除,文武并用,才是长治久安的途径。我认为可以广泛地收集文章典籍,阐明先代圣人的教诲,用以改变民众的所见所闻,使全国形成文明的风气,那样,对于偏远地区的异族人,虽不能用武力征服,却可以用文明的道德使他们向往而来。”曹操认为他的话正确。当时有人传说刘备已死,众大臣都表示庆贺,袁涣因曾被刘备举荐为官,独独不去庆贺。为官几年后去世。曹操为袁涣的死流下眼泪,赏赐谷物两千斛,一份叫“以太仓谷一千斛赐与郎中令家”,一份叫“用垣下谷一千斛送给曜卿家”,外人不明白他的意思。曹操的教令说:“用太仓谷,是依据官法;用垣下谷,是因为他是我亲密的老部下啊。”
魏文帝听说袁涣过去抗拒吕布的事情,问袁涣的堂弟袁敏:“袁涣在勇敢怯懦方面是怎样的?”袁敏回答说:“袁涣貌似平和柔顺,但他在大节面前,处于危难当中时,即使是孟贲、夏育也比不过他。”