高去靡,高捷之长子。天性坦荡容易相处,与人和谐。少年时补博士弟子员,自认为有远大前程。因父亲高捷常年在外做官,家里一切事物都需要老大费心照管操持,所以,多次赶考不中,遂以例入国子监,自叹曰:“我从此一意教子弟,读父亲的书。何必为这事郁闷,整天为科考困在帖括里面呢。”
当时,父亲高捷在山东做官,疆土与直隶相错。有下属吏欲避计典,带礼物去给他的儿子去靡。去靡不接受,说:“你做官考核时评为最贤良,为何要来办这自污清白的事呢。”其人羞惭的走了。去靡终身没有和别人提过这人的名字。其严正忠厚类如此。
父亲高捷因弹劾两个首辅大臣,被二人怀恨,出备兵东昌,既而牵连到封疆案。去靡为父处境担忧激愤而生病。这时父亲高捷去京城,去靡私自带着食粮跟随。父亲不让他跟着去京城,去靡哭着说:“哪有父亲摔倒在蒺藜堆里,儿子坐在家里不管呢?”当时已好几天粒米不进,坚决要跟着父亲去。一路上顶着酷热照顾父亲和行李从不松懈。到京城后,披头散发哭喊着找各个当权的为父鸣冤,持书跪在宫门。某公素重高捷正直,劝慰去靡说:你父子忠孝,你的举动也很好,但恐惹权贵怒,益蹈不测,反而给尊大人添累吗。去靡乃终止。众多当权的被去靡所感动,而忌者亦消沮。高捷得迁武林,去靡护送父亲平安到任后才回家。