永忠的祖父为康熙第十四子允禵。他在与皇四子胤禛争位中落败，被雍正软禁，直到乾隆皇帝继位才得到释放，并复封恂郡王。经过这样一场政治斗争，允禵觉得很失意，晚年皈依佛、道。

永忠的父亲弘明，雍正十三年（1735）封为贝勒，因父亲连累，终身不得一实职，乾隆三十二年（1767）卒。弘明深受父亲的影响，对红尘也无兴趣，独衷佛、道。弘明给几个儿子每人一套棕衣、帽、拂，要他们远避官场，保全身首。永忠体会父意，遂自号“栟榈道人”。后来受职，甚至封授“辅国将军”，但入世消极，情近佛道，留意诗、书、画，并俱有名气。

永忠与曹雪芹并不相识，当他偶尔从敦诚叔叔墨香处看到《红楼梦》时，感到是一种终生的遗憾。因为当时是乾隆三十三年（1768），曹雪芹已经去世五年了。他满怀悲愤地写下了《因墨香得观〈红楼梦〉小说，吊雪芹三绝句》。其中第一首绝句成为《红楼梦》之定评：“传神文笔足千秋，不是情人不泪流。可恨同时不相识，几回掩卷哭曹侯！”永忠从《红楼梦》中似乎看到了自己家族的兴衰过程，从贾宝玉的身上似乎看到了自己的影子。