抗戰爆發后，改編為新四軍的紅軍挺進師指戰員。

為宣傳中國共產黨的抗日主張，反擊國民黨“紅軍搗亂抗日后方”的誣陷，調動和牽制國民黨軍隊，緩解中央蘇區反“圍剿”的壓力，1934年6月，中共中央革命軍事委員會命令紅七軍團改編為“中國工農紅軍北上抗日先遣隊”(簡稱抗日先遣隊)。11月4日，紅七軍團與紅十軍合編為紅軍第十軍團。紅七軍團改編為第十九師，紅十軍改編為第二十師。根據中革軍委的決定：閩浙贛省蘇維埃主席方志敏兼任閩浙贛軍區司令員，粟裕任軍區參謀長(后改任紅十軍團參謀長)；中共閩浙贛省委、省軍區和紅十軍團，統受中共中央在中央蘇區設立的中央分局和中央軍區的直接領導與指揮。

1935年1月10日，紅十軍團日夜兼程，開始了返回閩浙贛蘇區的軍事行動。為了阻撓紅軍的行動，蔣介石集中了近20萬兵力，妄圖一舉撲滅紅十軍團。在這種形勢下，方志敏、粟裕率領紅十軍團先頭部隊，于15日進至靠近閩浙贛蘇區的港頭一帶地區。16日，軍團領導決定，先頭部隊立即突破敵封鎖線，進入閩浙贛蘇區。鑒于主力部隊仍在后面，方志敏決定自己留下來隨軍團主力行動，命粟裕率先頭部隊先行轉移。當晚，粟裕等率先頭部隊，順利突破國民黨軍的封鎖線，到達閩浙贛蘇區的大坪、小坪、黃石田地區，等待軍團主力。

在紅十軍團先頭部隊突圍期間，國民黨部隊加緊了對紅十軍團主力的封鎖和包圍，并組成多路“搜剿”隊，縱橫穿插于包圍圈內，將紅十軍團主力分割成數段。紅軍廣大指戰員不畏強敵，浴血奮戰，不斷殺傷敵人，但終因眾寡懸殊、彈盡糧絕，只有少數人員突出重圍，至1月下旬大部分壯烈犧牲，方志敏在懷玉山東麓隴首村被捕。

粟裕率領先頭部隊400多人突圍出來后，無時無刻不在掛念方志敏和大部隊。但一個星期以后，等來的卻是方志敏被捕的消息。

粟裕根據中共蘇區中央分局和中央軍區的指示，立即率領突圍回到閩浙贛蘇區的紅十軍團先頭部隊，同紅三十師一個團組成挺進師，粟裕任師長，劉英任政治委員，于2月27日由上饒靈山地區出發，向閩浙邊地區轉移，開展游擊戰爭，創建根據地。經過認真分析研究，粟裕、劉英選中了浙西南的仙霞嶺地區。那里層巒疊嶂，林深路曲，既便于隱蔽，也便于機動。

蔣介石得知挺進師進入浙江后，糾集32個正規團、8個保安團共7萬多人的兵力進行“圍剿”。粟裕靈活機動的戰略戰術，弄得敵人暈頭轉向。盡管敵人多我紅軍游擊隊幾十倍，卻無法將我軍消滅；而我軍則抓住戰機，一次又一次地打擊敵人。挺進師鎮壓了一批罪大惡極的貪官污吏和土豪劣紳，建立各種群眾組織，發展紅軍游擊隊和地方武裝。僅僅4個半月時間，隊伍發展到近千人，擴編為5個縱隊和兩個獨立支隊。游擊根據地擴至江山、浦城、龍泉、遂昌、松陽等5個縣。

粟裕帶領部隊轉戰閩浙邊，甚至對湯恩伯的老家武義，陳誠的老家青田，蔣介石的老家奉化也不斷“光顧”，使蔣介石極為頭疼，曾懸賞萬元，捉拿“金米”“蘇群”“余良”等“共匪”首領。其實這些名字都是粟裕一個人的化名。

到1936年12月，挺進師在浙南地區再次發展到一千五六百人，活動范圍擴大到30幾個縣境。1936年底到1937年春，國民黨閩浙贛皖4省邊區主任劉建緒，調集主力部隊和地方保安團43個團的兵力“圍剿”挺進師，始終無法撲滅這股革命力量。

1937年抗戰全面爆發后，國共再次合作抗日。國民黨遂昌縣政府就派來了代表，請游擊隊下山進城。經過一番談判，粟裕率部下山。當紅軍隊伍整整齊齊地出現在縣城的時候，全城扶老攜幼，爭相觀看。隊伍經過杭州時，浙江省省長黃紹竑宴請粟裕等紅軍將領，黃紹竑打量了粟裕半天，仍然懷疑地問：“你就是粟裕?”粟裕回答道：“黃省長一定以為我是青面獠牙吧?”“那倒不是。”黃紹竑說，“沒想到你是這么一個瘦弱的書生。你這個人實在不可思議。我打你時，年復一年，東征西討，不知費了多少力氣，連你的影子都沒有見到。可是和談一開，城里鄉下到處都是你的人。”