在淞沪会战中，税警总团伤亡过半。战后，总团长黄杰将残部编为一个师，但对五千多伤兵不闻不问。这些伤兵伤愈后，无处可去，得知孙立人在长沙组建缉私总队后，纷纷去投奔。

税警总团第二支队少将支队长孙立人在苏州河阻击战中负重伤，被宋子文送去香港治伤。1938年2月，伤愈的孙立人去汉口找黄杰，却遭到冷遇。

孙立人非黄埔出身，到处碰壁，一时间竟无处可去，最后他不得不去找了宋子文。税警总团是宋子文担任国民政府财政部长时，一手组建的部队，虽然没有军委会正规军的番号，但无论是装备还是兵员素质，都强于大部分的甲种师。

税警总团在淞沪会战中伤亡过半，战后不仅未得到补充，反而被撤销了番号，总团长黄杰（黄埔一期）在蒋介石的授意下，将余部编为四十师，并入第八军，黄杰任军长。宋子文得知后，气不打一处来，但他也明白，这背后若无蒋介石的支持，黄杰也是断然不敢这么做的。

宋子文见孙立人来找他，高兴的说：“你伤好了？你不来找我，我也要找你。”

孙立人将去见黄杰，遭到冷遇的经过说了后。宋子文安抚一番后，让孙立人去找时任财政部长的孔祥熙，说他已经和孔祥熙说好，将财政部放在武汉仓库的一批装备交给孙立人，由他重建部队。

在宋子文、孔祥熙的支持下，孙立人将足够装备一个师的武器弹药领走，运到了长沙，在这里筹建部队。说是重建税警总团，但为了避免引起蒋介石的不悦，按照宋子文、孔祥熙的指示，部队名称改为“财政部缉私总队”，孙立人任中将总队长。

黄杰将税警总团余部编入第八军时，并没有理会五千多伤员，伤员伤愈后无人过问，苦于没有兵源的孙立人，将他们大部招了过来，这些官兵，构成了缉私总队的基干。

孙立人最苦恼的，就是招兵困难，起初他在湖北、湖南招收了有初高中文化水平的青年七百多人。这些青年一看孙立人部队的名称是““财政部缉私总队”，纷纷抱怨说这不是部队，是孔祥熙的“税警私兵”，孙立人苦口婆心，但七百多人最后还是走掉了将近五百人。

武汉沦陷后，长沙也成为前线，孙立人不得不将训练地搬去了贵州都匀。到贵州后，孙立人的清华大学同学齐学启，被任命缉私总队参谋长，齐学启和孙立人私交很好，也有能力，他在缉私总队的训练和扩编中，出力很多，是孙立人的左膀右臂。

有宋子文、孔祥熙的支持，孙立人在军费上，颇受关照，但由于缉私总队的特殊性，不要说国民党的中央军，就是杂牌军将领，也在缉私总队面前表现出一副高人一等的姿态。

军委会的兵役部门，根本不给缉私总队调派新兵，孙立人申请了几次，得到的回复都是：“缉私总队非正规军，无法调拨。”

孙立人又试图让中央军校及各地分校派一批毕业生来充实军官队伍，但大都遭到拒绝。个别分校的教育长，同情孙立人，零星派过一些毕业生，可这些毕业生一听缉私总队连杂牌部队都算不上后，大都拒绝前往。

无奈的孙立人，只得动员缉私总队的官兵，让他们去联系老乡、同学、朋友过来。可即使如此，也是困难重重，有一次孙立人好不容易召来了一连新兵，却被附近的一个师长派人给截住了，想吞了这连新兵。

招兵的缉私总队军官拒绝后，对方竟然架起了机枪，扬言说若不同意，就把新兵全部射杀，军官无奈只得眼睁睁看着新兵被带走。

孙立人气坏了，向军委会军反映，得到的回复却是：缉私总队隶属财政部，无法处理。

在这样困难的条件下，孙立人在1940年，还是将缉私总队训练成有六个团，颇具规模的一支武装。

缉私总队的训练强度，高于国民党的大部分部队，孙立人对官兵的夜战、体能锻炼、山地战抓得最紧。由于孔祥熙的支持，弹药较为充足，缉私总队官兵的射击训练，频次也是远高于普通的部队。

1940年11月，戴笠兼任财政部缉私署署长，起初，他对缉私总队不感兴趣，认为就是普通的税警武装，等他了解到这支武装的实力后，起了吞并的心思。

戴笠派人去检阅缉私总队，名为检阅，实为找茬。检阅主任是军统的李姓大特务，他带着二十多个军统成员，大摇大摆的乘坐轿子来到了都匀。

孙立人去迎接时，见来的军统人员，没一个会骑马，不由得摇头叹气。李主任带着军统成员，在都匀待了二十多天，检阅时几乎没有说好话，言语间大都是指责的语气。有一次，李主任竟然对孙立人说：“你把部队训练这么好干什么？不就是税警吗？”

到最后，孙立人实在是气不过，派总务的王科长负责接待，他避而不见。

检阅结束后，李主任在走之前，去找王科长聊天说：“你们孙总队长，我看练兵很有一套。来之前，我听了不少他的负面消息，这次一见，还是不错的。”

王科长说：“孙总队长是个骄傲的人，但没有坏心眼，对待部属是极为厚道宽和的。”

李主任说：“训练的不错，就不知道真到了战场，战斗意志如何。”

王科长说：“孙总队长在淞沪，身负十三处伤，他的部队连以上军官三分之二非死即伤，怎么会没有战斗意志呢？”

李主任笑着离开了，其实他何尝不知道缉私总队的真实情况，只是奉戴笠之名专门找茬的，不得不为而已。