中國遠征軍浴血奮戰，但終未能挽回戰局，同年夏天，部分撤回云南，部分撤到印度。

重新編組中國遠征軍，伺機反攻緬甸，成了史迪威的重要戰略計劃。但史迪威性格直爽、說話尖刻，讓蔣介石、何應欽等人感覺難以相處。中國遠征軍指揮官羅卓英就因為與史迪威意見不合，被召回國。

在史迪威和國民黨高級將領的交往中，陳誠是他比較“看得上”的一位。他倆早在1938年就相識了，在隨后的交往中都給對方留下了較好印象。史迪威在1943年1月3日的日記中寫道：“必須弄掉糊涂蟲(何應欽)……代之以長江中下游的小家伙(陳誠)。”

史迪威向蔣介石提出希望第六戰區司令長官兼任湖北省政府主席陳誠擔任中國遠征軍司令長官。1943年2月，蔣介石命陳誠到重慶，告訴他史迪威歡迎陳誠去任中國遠征軍司令長官一事，并說“恐其他將領難與合作”。

但陳誠認為：“在盟國真有協力同心聯合反攻之誠意以前，中國的抗戰方略，仍應以本國戰場為第一，不宜輕言遠征。”蔣介石則以“先從事整頓，并作反攻準備”為由，堅持讓陳誠出任中國遠征軍司令。由于史迪威要求“專職專任，不得另有兼職”，蔣介石分別派人暫時代理第六戰區和湖北省政府職務。3月12日，陳誠由重慶飛抵昆明，正式走馬上任，將長官部設立于楚雄。

陳誠到任后，開始整訓部隊。為提升遠征軍戰斗力，陳誠制定了“遠征軍作戰部隊整備計劃”，命各部依計劃實施。同時，他創辦了軍事委員會駐滇干部培訓團，請蔣介石任團長，自己和龍云任副團長，在美方協助下，有計劃地對各種專業干部進行培訓。每個培訓班隊報到滿一百人即開始訓練，訓練六個星期即結束（炮兵除外）。通過這樣的訓練方式，在1943、1944兩年中先后訓練約達一萬人，其中包括一部分士兵。

裝備技能訓練，有美國軍人擔任，陳誠遂把精力和時間投入到“精神訓練”當中。他提出“以窮治軍”的口號，經常到各地視察并檢閱部隊，還經常召集將領訓示演講，以提振士氣。他特別組織編印了《遠征須知》，除分別輯錄“總理訓詞”“委員長手頒陣中必讀”“陣中反省錄”及遠征口號、遠征歌等外，還分章編撰了“明了本身責任”“熟習兵要地志”“尊重各國國情”“實踐訓練要旨”“注重特殊情況”“爭取最后勝利”等，其后附錄了“革命軍連坐法”“中華民國戰時軍律”等，讓遠征軍長官人手一本。訓練以外，陳誠還著手進行了補充兵員、加強補給、修筑道路、改進環境衛生、充實醫藥設備等工作。

陳誠就任遠征軍長官之前，國民黨軍曾利用駝峰航運走私貨物。為了打擊走私之風，陳誠到任后將原遠征軍長官部的走私大員的空運指揮官王大鈞等多人扣留，不久又下令逮捕涉嫌販賣鴉片的第49師副師長張夏威。

在云南，陳誠與史迪威保持接觸，并就遠征軍的編訓計劃進行經常性磋商。陳誠說，他和史迪威之所以合作融洽，是因為自己做到“言而有信”：“凡是答應人家要做的事，一定做，并且盡速地做。凡是不能做的事，根本就不答應。”有一次，史迪威想要原中國空軍學校的房子，作為遠征軍訓練班的班址。他先和中國遠征軍第一路軍軍部的官員接洽，但過了很久都沒有下文。陳誠上任后，史便來和陳誠交涉。陳誠一口答應。幾天后，史迪威要的房子就到手了。史迪威說陳誠“是說一句算一句的人”。以后，他遇到難題，就去找陳誠解決。陳誠覺得能解決的就爽快答應，但不能解決的，就立即拒絕。

就在陳誠調整遠征軍部署、整肅軍紀的時候，鄂西會戰開始了，陳誠奉命回到鄂西指揮作戰，直到8月才回云南，繼續整訓部隊。11月中旬，陳誠胃潰瘍發作，向蔣介石提出辭職。16日，蔣派衛立煌為遠征軍代司令長官。雖然如此，陳誠在幾個月里，為遠征軍的調配、整訓做了大量工作，使遠征軍的素質和戰斗力有了較大提高。