永忠的祖父为康熙第十四子允禵。他在与皇四子胤禛争位中落败，被雍正软禁，直到乾隆皇帝继位才得到释放，并复封恂郡王。经过这样一场政治斗争，允禵觉得很失意，晚年皈依佛、道。

永忠的父亲弘明，雍正十三年（1735）封为贝勒，因父亲连累，终身不得一实职，乾隆三十二年（1767）卒。弘明深受父亲的影响，对红尘也无兴趣，独衷佛、道。弘明给几个儿子每人一套棕衣、帽、拂，要他们远避官场，保全身首。永忠体会父意，遂自号“栟榈道人”。后来受职，甚至封授“辅国将军”，但入世消极，情近佛道，留意诗、书、画，并俱有名气。

永忠与曹雪芹并不相识，当他偶尔从敦诚叔叔墨香处看到《红楼梦》时，感到是一种终生的遗憾。因为当时是乾隆三十三年（1768），曹雪芹已经去世五年了。他满怀悲愤地写下了《因墨香得观〈红楼梦〉小说，吊雪芹三绝句》。其中第一首绝句成为《红楼梦》之定评：“传神文笔足千秋，不是情人不泪流。可恨同时不相识，几回掩卷哭曹侯！”永忠从《红楼梦》中似乎看到了自己家族的兴衰过程，从贾宝玉的身上似乎看到了自己的影子。

喜书，遇奇书异籍，虽典衣绝食必购之归。诗、画、琴、书，皆精妙入格。书法犹劲，颇有晋人风味。墨梅、竹石，及小景颇佳。

永忠能诗善书，《清史稿》称赞他“诗体秀逸，书法遒劲，颇有晋人风味。常不衫不履，散步市衢，遇奇书异籍，必买之，归虽典衣绝食不顾也。”

永忠是一位被时人称为“少陵、昌陵之后，惟东坡可与论比”的优秀诗人。他最大爱好为藏书，尤喜奇书异籍，对《红楼梦》认识深刻，有不少题作。著有《延芬室集》。