1926年1月蔣介石辭去國(guó)民革命軍第1軍軍長(zhǎng)職務(wù)后，由何應(yīng)欽接任軍長(zhǎng)。1926年7月，國(guó)民革命軍1軍1師、2師先期參加北伐，其余部隊(duì)留駐廣東。兩個(gè)月后，何應(yīng)欽率第1軍所余各部北伐攻閩，此后又參加了江西、江浙的戰(zhàn)斗，在占領(lǐng)南京后，向山東挺進(jìn)。1927年7月下旬，北洋軍反攻，占領(lǐng)徐州，蔣介石組織抵抗失敗，北伐軍撤回蘇南。

徐州戰(zhàn)敗后，武漢國(guó)民政府準(zhǔn)備派兵討伐蔣介石的消息傳來(lái)，而和蔣介石同在南京的李宗仁、白崇禧貌合神離，使蔣介石受到很大打擊。此時(shí)“忠誠(chéng)”的何應(yīng)欽也出了問(wèn)題。何應(yīng)欽雖然一直聽(tīng)命于蔣介石，但也不滿蔣介石日益增長(zhǎng)的專橫跋扈，在“四一二政變”后，蔣介石曾密令何應(yīng)欽伺機(jī)將白崇禧部繳械，何應(yīng)欽猶豫再三，竟沒(méi)有執(zhí)行密令。蔣介石于是懷疑何應(yīng)欽受到李宗仁、白崇禧的拉攏。

在此形勢(shì)下，8月11日，蔣介石以退為進(jìn)，在南京的國(guó)民黨中央執(zhí)監(jiān)委員會(huì)議上提出辭職下野。李宗仁、白崇禧表示贊同，蔣介石本來(lái)希望何應(yīng)欽能帶頭挽留，但何應(yīng)欽卻說(shuō)他同意李、白的意見(jiàn)。蔣介石深感失望，于是辭去國(guó)民革命軍總司令等職務(wù)。

蔣介石下野后，李宗仁、何應(yīng)欽、白崇禧坐鎮(zhèn)南京。李、白提出用蔣介石命令黃埔同學(xué)會(huì)招募的七個(gè)新兵團(tuán)補(bǔ)充部隊(duì)，何應(yīng)欽立刻答應(yīng)，但被蔣介石派人阻止。何應(yīng)欽率領(lǐng)第1軍取得龍?zhí)洞蠼荨魸⒈毖筌娭髁螅瑢嫶蟮牡?軍所部編為第1、第9、第32三個(gè)軍，由劉峙、顧祝同、錢大鈞分任各軍軍長(zhǎng)，由何自任總指揮，繼續(xù)北伐。

正當(dāng)何應(yīng)欽躊躇滿志之時(shí)，蔣介石準(zhǔn)備復(fù)職了。

蔣介石于1928年1月4日復(fù)任北伐軍總司令。在事先未告知何應(yīng)欽的情況下，蔣介石于2月9日到達(dá)徐州，在何應(yīng)欽出城打獵時(shí)，宣布調(diào)何應(yīng)欽為總司令部參謀長(zhǎng)，還讓人告訴何應(yīng)欽說(shuō)：“沒(méi)有我蔣中正，決不會(huì)有何應(yīng)欽。”

在何應(yīng)欽請(qǐng)辭第一路軍總指揮后，蔣介石馬上接受了何應(yīng)欽的辭呈，將原第一路軍改編為第一集團(tuán)軍，自己任北伐軍總司令兼第一集團(tuán)軍總司令，命何應(yīng)欽“養(yǎng)病”休假兩個(gè)月，并說(shuō)“待我將部隊(duì)整理就緒，仍然請(qǐng)你回來(lái)統(tǒng)率”，但蔣介石后來(lái)也沒(méi)有履行諾言。