為了盡快將這部分日本僑俘送回國(guó)，1945年10月25日，中美雙方在上海召開(kāi)專門會(huì)議，并制定了《中國(guó)戰(zhàn)區(qū)日本官兵與僑民遣送歸國(guó)計(jì)劃》。1946年1月7日，在由中國(guó)國(guó)民黨代表張群、共產(chǎn)黨代表周恩來(lái)，美國(guó)代表馬歇爾組成的三人小組會(huì)議上，三方?jīng)Q定從1946年4月起，開(kāi)始全面遣返滯留在中國(guó)東北的日本僑俘。1946年1月15日，中美雙方在東京舉行會(huì)談，明確了在遣送東北日本僑俘問(wèn)題上，中國(guó)政府和美國(guó)政府應(yīng)該分擔(dān)的責(zé)任。中國(guó)政府負(fù)責(zé)將日本僑俘集中到港灣地區(qū)，直到登上在遼寧省葫蘆島?？康幕貒?guó)船只為止。美國(guó)政府負(fù)責(zé)調(diào)集日本船舶和美國(guó)海軍部分船舶，以及具體航行路線。

國(guó)共雙方以及美、蘇兩國(guó)代表就遣返日本僑俘達(dá)成相關(guān)協(xié)議后，國(guó)民政府東北行轅成立了“東北行轅日僑俘管理處”，后又更名為“東北保安司令長(zhǎng)官部日僑俘管理處”，委任國(guó)民黨207師少將師長(zhǎng)李修業(yè)為處長(zhǎng)；在解放區(qū)，中共成立了以軍調(diào)部東北三人小組成員李敏然(李立三)為處長(zhǎng)的“東北民主聯(lián)軍遣送日人管理處”，分別領(lǐng)導(dǎo)遣返日僑工作。

1946年4月23日，所有滯留中國(guó)東北的日本僑俘，陸續(xù)接到中國(guó)國(guó)民政府及“東北保安司令長(zhǎng)官部日僑俘管理處”發(fā)出的“向葫蘆島港集中，統(tǒng)一遣返回國(guó)”的命令。1946年5月7日上午，兩艘裝載著2489名日本僑俘的美國(guó)輪船駛離葫蘆島港，拉開(kāi)了大遣返的序幕。

盡管戰(zhàn)后經(jīng)濟(jì)困難，中國(guó)人民還是調(diào)集極大的人力、物力和財(cái)力，完成日僑俘遣返工作。據(jù)統(tǒng)計(jì)，1946年5月至8月的遣僑經(jīng)費(fèi)開(kāi)支約1.47億元，其中，僅日僑俘伙食費(fèi)開(kāi)支一項(xiàng)就達(dá)1.25億余元；為解決日僑俘集中待遣期間的吃飯問(wèn)題，東北人民不顧自己饑荒，籌集糧食上億斤；為供遣返運(yùn)輸之需，政府調(diào)配火車車皮1.3萬(wàn)余輛，飛機(jī)70余架次，以及大量汽車、馬車及江河渡船；沿途各火車站由地方政府提供生活用品，確保日本僑俘不受饑餓之苦。為了保證日本僑俘身體健康，在錦西設(shè)有臨時(shí)醫(yī)院，并且專設(shè)婦產(chǎn)科，以便發(fā)現(xiàn)病人和臨產(chǎn)孕婦能夠及時(shí)予以救護(hù)。為減少日本僑俘行程中的困難，中方規(guī)定以保持全家人同行為準(zhǔn)則，單身日本僑俘自行結(jié)隊(duì)；由幾家人組成一個(gè)小隊(duì)，幾個(gè)小隊(duì)組成中隊(duì)，2500人編成一個(gè)大隊(duì)，每個(gè)大隊(duì)設(shè)置指揮班、通訊班，還配備醫(yī)生、護(hù)士等協(xié)勤人員。遣返者除必備的身份證和離境證明外，還要佩戴臂章和胸章，標(biāo)明遣返者的姓名，所在的遣返單位，以及原來(lái)居留中國(guó)時(shí)的住址、職業(yè)等等，而且還要接受霍亂和傷寒等傳染性疾病的預(yù)防注射。

1946年8月20日，解放區(qū)的日僑俘也正式開(kāi)始遣返。到9月下旬，解放區(qū)日本僑俘全部遣返工作結(jié)束，共遣返日本僑俘182222人。

葫蘆島大遣返歷時(shí)半年，遣返日本僑俘計(jì)達(dá)1051047人（包括16607名日軍戰(zhàn)俘）。1946年11月27日，最后一艘載運(yùn)日本僑俘的輪船“第一大海丸”即將離開(kāi)葫蘆島港。日僑俘管理處處長(zhǎng)李修業(yè)來(lái)到船上進(jìn)行禮節(jié)性的送行。李修業(yè)告訴日僑：“我們中國(guó)人胸懷大度以德報(bào)怨，把你們妥善地遣返回國(guó)，這是我們中華民族的崇高美德和人道主義。日本軍閥發(fā)動(dòng)侵華戰(zhàn)爭(zhēng)，不僅使中國(guó)人民深受其害，希望你們以后只帶友誼來(lái)，不要再帶刺刀來(lái)，再見(jiàn)吧！”李修業(yè)演講結(jié)束后，日本僑俘們彎腰低頭表示認(rèn)罪，很多人痛哭失聲表示懺悔，并向中方贈(zèng)送“感謝中國(guó)”的錦旗。