李谦天资聪颖，勤奋好学。1920年考入县立醴陵中学，在那里接受马列主义的熏陶，积极参加学生爱国运动和社会进步活动。1922年，李立三到江西安源煤矿领导工人运动时，曾多次到自己的母校醴陵县立中学宣传十月革命和马列主义，宣传中国共产党民主革命纲领，李谦认真阅读《新青年》、《向导》等革命刊物，响应李立三关于打倒军阀，驱逐列强，拯救祖国的号召，投入反对帝国主义的活动。1924年，进入黄埔军校第一期学习，聆听周恩来、叶剑英等讲的政治和军事课，思想有很大进步。同年加入中国共产党。毕业后，留校任教导团排长，率部与军校学生军先后参加广东革命政府为讨伐军阀陈炯明，统一广东的第一、第二次东征和平定滇系军阀杨希闵、桂系军阀刘震寰叛乱。战斗中，他身先士卒，冲杀在前，初步显示其军事指挥才能。升任国民革命军第一军第二师连长，不久调任湘军改编后的第六军营长。 1926年，在北伐诸役中屡建战功，擢升为第十九师第二团团长。

大革命失败后，赴日本陆军士官学校深造，他潜心研究军事，专攻战术，成绩优异；两年后回国，1929年7月，奉中共中央指示到南宁，改名李谦，任广西第四警备大队副大队长，积极协助大队长张云逸改造部队，训练中下级军官，进行武装起义的准备工作。1929年12月11日，百色起义胜利举行，红七军成立，部队编成3个纵队：原四大队编为第一纵队，李谦担任第一纵队纵队长，中共红七军前委委员，成为红七军领导人之一。

1930年11月，部队在河池整编，纵队改称师，任红7军第20师师长。李谦在敌人大军“围剿”之下，率部转战湘粤边界地区，时而奔袭，时而固守，时而杀回马枪，攻城略地，出奇制胜。他不仅作战勇猛顽强，机智灵活，而且在斗争最艰难困苦的关头，总是用坚韧不拔、吃苦耐劳的忘我革命精神和与战士同甘共苦的模范行动，来鼓舞部队士气，使红二十师越战越强，成为红七军中一支能征善战的主力部队。

1931年2月3日，在广东省乳源县梅花村，一场激战打响了，李谦率领的五十八团一营在草家坪岭上痛击敌军。不料情报有误，敌军来的不是一个，而是四个团。湘粤军阀部队采用人海战术，来势汹汹，企图吞噬红七军。面对敌人的猛烈攻势，以勇猛著称的李谦，手挥驳壳枪，犹如猛虎下山，摧枯拉朽，指挥战士们扼守住梅花村的咽喉地带——草家坪后山高地，打退了湘粤军阀部队的七次猛烈进攻。在回击敌人第八次进攻的时候，他挥舞大刀，与敌人展开英勇的肉搏，敌人狼狈逃窜。他又提起机枪，射向接近十几米的敌人。不料，飞弹袭来，他的腹部鲜血喷涌而出，肠子流出体外。他对赶来搀扶的警卫员大吼一声：“别管我！快冲出去！”他强忍着剧痛一直没有倒下。鲜血染红了他的军装，犹如硝烟中熊熊燃烧的火炬。他用22岁的年轻生命，书写了人生最壮烈的一页。