1906年，留學日本的魯迅在東京的舊書店購買了幾十冊德文雜志，其中包括選登了《小約翰》第五章的半月刊《文學的反響》(1899年8月第1卷第21期)，作者運用象征與寫實結合、以童話表達嚴肅主題的創作手法，讓魯迅產生了濃厚的興趣。幾天后，魯迅跑到南江堂、丸善書店尋購該書，但都未果，于是委托書店向德國定購，3個月后，收到了從德國郵購的德文單行本。魯迅一直計劃著翻譯這部著作，因為這是一本“自己愛看，又愿意別人也看的書”，但一是因為忙，“總被別的事情岔開”，二是“大原因仍在很有不懂的處所”，以致一拖再拖，20年過去仍沒有完成翻譯。

1926年，魯迅將離開北京赴廈門大學任教，他重新找出德文版《小約翰》，決定抓緊將它翻譯出來，不這樣的話，“覺得仿佛對于作者和讀者，負著一宗很大的債了”。然而，翻譯《小約翰》頗不容易，用魯迅自己的話來說，此書“看去似乎已經懂，一到拔出筆來要譯的時候，卻又疑惑起來了”，“動植物的名字也使我感到不少的困難”，甚至坦言自己“外國語的實力不充足”。魯迅便約請老同事、老朋友齊宗頤（壽山）與自己合作。

兩人從1926年7月6日開始，每天下午到中央公園（今中山公園）的“來今雨軒”對譯《小約翰》，到8月中旬基本完成。1927年5月底，經修正、謄清后，1928年1月由北京未名社列為《未名叢書》之一出版，魯迅20多年來的翻譯心愿，終于得以了卻。

從當年購買《小約翰》德文版，到出版該書中文版，前前后后的時間跨度逾20年，一波三折，幾度起伏，盡管魯迅自謙地表示“譯力不足”，然而他蓄心儲力，厚積薄發，由此可以充分看出魯迅先生對文學翻譯的高度重視和由衷敬畏，以及嚴謹認真的譯著態度。