追随太祖

连环画《阿保机兴辽》中耶律羽之的插图耶律羽之出身于契丹族迭剌部的贵族家庭，他的祖父耶律匣马葛是耶律匀德寔（耶律阿保机的祖父，追封简宪皇帝）的哥哥。耶律曷鲁的父亲耶律偶思在遥辇可汗时期担任迭剌部的夷离堇（军事首领），他的长兄耶律曷鲁是耶律阿保机的至交好友。

耶律羽之少年时期就展现出豪放爽直，卓异不凡的优秀品质，成年后他酷爱读书，儒释庄老各学派都十分精通，书算射御各技艺也非常出色，险些之外，他还通晓诸部语言。在辽太祖耶律阿保机规划统一草原的初期，耶律羽之是耶律阿保机的重要幕僚，经常参与军事方面的谋划。

执掌东丹

天赞四年（925年）底，辽太祖阿保机率领大军进攻渤海国，耶律羽之随军出征。天显元年（926年）二月，在辽军的迅猛攻击之下，渤海国末代国王大湮撰投降，耶律阿保机改渤海国为东丹国，任长子耶律倍为东丹国王。设左、右大相，左、右次相辅佐。左大相为阿保机的弟弟耶律迭剌，右大相为原渤海国老相，左次相为原渤海国司徒大素贤，耶律羽之为右次相（中台省右平章事）。

耶律羽之在东丹四相之中排名最末，原本只是东丹国第五号人物，但最后却成了东丹国实际上的掌权人。原因有二：

首先东丹国的左大相耶律迭剌上任不过一个月便逝世了，而右大相、左次相则是渤海国的旧臣，契丹政权不可能让他们掌握真正的权力，所以，耶律羽之就成了东丹国的真正国相。

其次，天显元年（926年）七月，阿保机在从渤海返回契丹的途中病逝，阿保机的次子耶律德光在母亲述律平的支持下登基为帝，而阿保机的长子、东丹国国王耶律倍则软禁在了皇都（今内蒙古巴林左旗林东镇南）。

就这样，在国王被架空，左大相身亡的情况下，耶律羽之成为东丹国的实际管理者。耶律羽之执掌东丹国初期，东丹国便出现了动荡不安的局面。因为渤海国刚刚被契丹征服，人心未附，经常发生反抗契丹的军事动乱。在这一阶段，耶律羽之视事勤勉恭谨，一方面用军事手段镇压，率军迅速平息了渤海遗裔的反抗活动，一方面用政治手段安抚，对愿意归顺的边远府州进行了妥善的招抚。恩威并施，逐渐平息了各地的反抗。

由于耶律羽之有效地稳定了东丹国的政局，所以被加封太尉（辽代三公之一，又为武官官阶的最高一级）。不久，因为克敌制胜和招抚边城有功，加太傅，判盐铁，封东平郡开国公，食邑一千户。

天显二年（927年），耶律羽之被升为左相。

南迁遗民

天显三年（928年）十二月，为了进一步控制原渤海国的百姓，耶律羽之上奏辽太宗耶律德光，他在奏折中说：“大圣天皇（耶律阿保机）平定东土（渤海国）的时候，挑选贤明的辅相来安抚当地百姓，没有因为我的愚昧不重用我，所以有关国家利害的事情，我一定要如实上奏朝廷。渤海国从前因为畏惧南边的汉人王朝，而依险自卫，所以定都城于忽汗城。但现渤海国已经被契丹征服，而忽汗城离上京遥远，既已不能加以利用，又不撤去防卫力量，白白浪费国家的资源，我们到底为什么要这么做呢？

先帝（耶律阿保机）因为渤海国反叛，找准机会出兵，所以不战而克。既是天授，也因人谋，只有当时有此时机。渤海国的后代渐渐地繁衍生息，居于远离契丹的遥远边地，恐怕会成为契丹的后患。梁水一带乃是他们的故乡，土地广袤而肥沃，又有出产木铁盐鱼之便利。乘着他们衰弱的时候，把他们的百姓迁回原住地，这才是万世长久安定之策。他们得以回到故乡，又得木铁盐鱼之丰饶，必定会安居乐业，不再有反叛之心。然后选派兵马驻扎以为我国左翼，以突厥、党项、室韦之辅助为我国右翼，可以轻易地制服南方的汉人王朝，统一天下，成就圣祖未能完成的功业，留给子孙后代无边之福禄。”

耶律心之的书表奏上之后，耶律德光对他的奏折十分欣赏，马上采纳并施行他的建议。在他上奏的当年，就下诏令，把东丹国的百姓迁到梁水一带居住，当时契丹大臣都认为耶律羽之的建议是个好主意。

天显五年（930年），在耶律德光的逼迫之下，耶律倍出逃后唐。耶律倍出逃之后，耶律羽之安抚东丹国民一切如故，并没有因这位名义上的国王出逃而造成混乱。

天显十三年（938年），加特进阶（一品）、上柱国（武官勋级中的最高一级）、食邑二千五百户。

入朝病亡

会同四年（941年），因为朝廷举行册礼（册立、册封的礼仪），耶律羽之被召入京到宫中朝见，加特进。耶律羽之利用朝见的机会，上表弹劾东丹国左次相渤海耶律苏贪污犯法之事，但还没等朝廷表态彻查，耶律羽之就于当年八月十一日去世了，享年52 岁，谥号文惠。