1967年5月23日出生于广西柳州，1980年八一体工队组建“1316”工程，13岁的栾义军开始系统训练。随后为八一队效力，他只是在1994年职业联赛第一年被北京国安队租借一年，他的职业生涯基本都在八一队中度过，直到2000年。

　　栾义军司职中后卫，球风剽悍，作风勇猛，每一场比赛都能够百分之百地投入到其中去，深受八一队领导和教练的喜爱。在他的职业生涯里，只有一次被处罚，当时是1998年3月29日，甲A第2轮北京国安主场对八一队的比赛中，栾义军与北京国安队李东波争抢中，栾义军只是因为封堵对方的射门时，慢了半步，正好踏在李东坡的腿上。当值主裁判看到这个动作后，向栾义军出示红牌罚出场。

　　随后赶上足协“严打”，足协纪律委员会专门研究了这个犯规，决定对栾义军实施停赛6轮的处罚，同时他被罚款3000元，八一俱乐部也被罚款1500元。据队友介绍，1998年的时候，栾义军的工资也就3000元。1998年这张红牌也是栾义军职业生涯里的第一张直接红牌，也是栾义军职业生涯里最重的处罚，不过八一队队内并没有因为足协处罚而追加对栾义军的处罚。

　　在栾义军的职业生涯里，获得的最好名次是1996年随八一队夺得当年甲A第三名的成绩，但是八一队由于受体制之限，当时不能招商冠名和聘请外援，因此球队成绩并不好，1998年八一队降入甲B，这是栾义军职业生涯里最为郁闷的一段时间，直到2000年他随队重返甲A后，已经年届33岁的栾义军才退役。

　　在栾义军的球员生涯里从未入选过国字号球队，这是与栾义军身材有极大关系，栾义军身高只有1.78米，这对中后卫位置来说有些勉强，在控制高空球方面受到限制，这也是栾义军未能入选国字号球队的重要原因，栾义军也曾跟八一队友开玩笑说，“我改个位置早就是国脚了”，但是他在中后卫位置上的表现依然十分出色，成为当年很多前锋头疼的防守球员。