在1989年郭怡广离开唐朝乐队之后，主唱丁武因为刘义军的快速演奏风格而邀请他加盟并成为新唐朝乐队的主吉他手。在乐队中老五在作曲方面几乎成为领袖，而丁武依然是乐队的决策人。在1990年发布了首张专辑《梦回唐朝》之后，刘义军带领乐队在亚洲范围内取得成功。1992年《SPIN》杂志评为“中国最伟大的吉他手”，不只因为他的技艺出神入化，更因为他的吉他声中充满创意与感情。1995年贝司手张炬车祸去世后整支乐队进入低谷，唐朝继续着在日本一个个俱乐部寻求机会但是最终并没有太多收获。刘义军经常引用他们的说法“作为本世纪的摇滚音乐人我们还不成熟，我们无法用这类音乐谋生”。最终在1996年因为音乐观念上的巨大差异和对领导权的不服从，丁武要求刘义军离队。刘义军用“唐朝老五”的名字从事自己独奏表演，并且在2002年重新回到乐队。
作为中国首位金属摇滚吉他手，刘义军同时也演奏东方民族风格的作品。在唐朝首张专辑销售过200万张的时候他和唐朝乐队在国际上有了一些知名度，尽管国内的媒体并不促进本土摇滚人才，但是他们的主要名气还是在国内。刘义军还用“唐朝老五”的名字发布过两张独奏专辑，从音乐的角度上说这些音乐更倾向于国际音乐的风格而不是摇滚乐。在2009年1月因为个人原因和音乐理念的差异刘义军再次离开唐朝乐队。
2009年正和奥地利的新古典主义摇滚艺术家合作一张新的专辑，希望2010年能够发布。