当年李鸿章领军援沪，他是李鸿章招募合肥团勇的联络人，在受募的几个营官中官衔又是最高的一位，位列知府之职，这件事让能平云青云开府一方。

也就是这个知府的位置，让李少荃放心不下，到上海后始终不肯重用，后来湘军初起的几个营头奉命回皖募兵，其它营头皆二营，惟独树字营只限一营。

以后树字营交给了张树声之弟张树珊管带，却先后交由李鸿章之弟李鹤章及刘铭传、郭松林统领，较铭字、鼎字低了一头，直到1863年间树字营才增至七营，但随后又只保持六营的编制，“淮军中人数最少”。

1865年5月，奉李鸿章命令北驻淮徐，才以护军一营合成七营兵力，9月曾国藩督师到徐，视树军营垒，阅其操练阵法，却没想这个在淮军没甚名气的树字营竟是格外的强悍，赞其“步伐极整齐，枪炮极娴熟”，“平生所见步队所远不逮”，即为之添募步队两营，马队一营，使之成为拥有五千人，马步齐全，可独当一面的兵队。

但是曾国藩的信任却惹来了天大的祸患，李鸿章最忌讳的一件事就是文人统军，别开生面，自立门户，象当年他在湘军那样挖走一整支兵队后和自己对着干。

恰恰这时张树声已以按察使官职转任徐海道，又进而实授直隶按察使，树军改由张声珊专领。而树军如此增添营数，事先未得李鸿章同意，张树声本人和树军又深得曾国藩赞许，张树声似乎颇有另栖高枝之嫌。

加上张树声又是淮军中第一个离开淮军，实任他省大员的文员统将，很有渐启带领旧部，别开生面之虞，这些都正是李鸿章之所大忌。

为了预先防备，既要惩一儆百，又兼对曾国藩自行变动淮军大枝营头格局作报复，李鸿章势必要对树军采用抑制政策。在几个亲信统将纷纷添募勇营和马队，对树军邓特加限制，通知曾国藩说：“饷项支绌，各军若添步队，一概不宜允准。若请添马队，亦须裁减步军，腾出马军之饷”，这是显是专为限制树军。因惟有树军步军刚添至九营，方与盛军相等，在淮乡诸将中最经不起裁减步队。而且，此后其他各军大都增添了马队，却都并末裁减步队，有的还添募步队，惟独树军，张氏兄弟两次连续请添马勇，都被李鸿章批驳。

这倒还不算是他的一桩恨事，只是后来李鸿章却做得过火了。

张树珊在湖北作战时被捻军所杀后，李鸿章竟违反惯例，不把树军交张村声另一弟弟张树屏统带，反于五月将其一拆为二，把六营拔并到同吃大败仗的铭军中去，编为铭字左军，仅给张树屏留下三营由其统带。此外，李鸿章虽屡次许愿，答应将此三营树军交给黄河一带防守，而兵力孤单的张树声指挥，却从末实现诺言。到了淮军大批裁减的时候，这三营树军便被全被撤遣，至此，树字军作为淮军的一个大枝营头的地位自此结束。

堂堂的淮军开创者手上，竟然连一个步营都掌握不住，黄桂兰就是率领树军六营进了铭字左军，结果几个月就被刘铭传赶了出来。

直到多年后铭军东归，他才硬是从李鸿章把自己的树军抢回来，改为武毅右军。

只是武毅右军归属铭军多年，早非他手创的树军，这五个步营他照样有指挥不动的感觉，这次回任广州，他把五个营头带到了广东――这也是整个广东境内唯一算是有战斗力的部队了。

彭玉麟也是借机发挥，直接点了武毅右军五营的名字，挑了一大堆毛病，准备利用湘军旧属再立新营。

一想到，张树声心头就有一团火冒了出来，他暗自思道：“李少荃，若是东省落到湖南人手里，我看你能否安枕无忧！”

他又给黄桂兰写了一封回信：“细柳贼将，可供利用，若能策动其与法人火并，可多给械弹，务必不可任由外人操纵。”