關于顧沅藏書，一部分為祖上傳下來，自己又先后歷經二十余年的購買和傳抄。曾自云：“承先人遺訓，束發即有志収羅，見刻本之善者必購得之，無刻本者就藏書家寫之?！痹L《藏書圖》，蔣寶賓題記云：“湘翁總角時即喜購書，迄今二十載，得數萬卷，宋之舊刻，名人抄錄，靡不兼備，目批手校，寢食忘倦?！睂O燮撰《藝海樓藏書記》曰：“長洲顧君湘舟敏悟好學，家藏書籍甚富。為園于葑門西雙塔寺之側，中構一樓顏曰藝海。迄今越六十年，身歿言立，購其遺集藏之，所以補四庫之未備。至宋元舊刻，人世稀有之本，略購一二，以無力不能遍搜，計得書十萬余卷，又碑刻四千余種，書畫千余家，并藏樓中。”學者楊仲羲在評價顧氏藝海樓藏書時，稱其“不及四庫者600余種，而四庫未及者2000余種”。在顧沅的藏書中，地方文獻是其藏書的重要組成部分，據《吳縣志》所載，有《韓蘄王祠墓志》、《韓蘄王墓碑考釋》、《花籍祠堂志》、《玄妙觀志》、《滄浪亭志》、《七姬廟志》、《吳中金石志》，《江左金石志》、《吳郡名賢象傳贊》以及《吳郡文編》等十多種，這些著作有的已佚失，有的仍有刻本流傳，其中篇幅最大的《吳郡文編》，現存蘇州市博物館。

顧沅藏書自咸豐元年（1851）后日見流散，同治間太平軍失敗退出蘇城后，他的遺書大部分為新任江蘇巡撫丁日昌借保管為名，巧取豪奪，捆載以去。晚清蘇州文人葉昌熾在其《藏書紀事詩》中提到：“湘舟辟疆園在郡城甫橋西街，庚申之劫，其所藏盡為豐順丁中丞捆載以去?！冻朱o齋書目》所著錄，多其家書也?！泵駠鴷r期蘇州藏書家王謇在其《續補藏書紀事詩》中說：“我吳甫橋西街辟疆園顧氏藝海樓，因曩聘鑒別家徐子晉（康）與太平軍要人有舊，所藏圖書彝器之屬，尚翼蔽之而封鎖無恙。詎懷璧其罪，太平軍失利后，一日，忽有牙將材官之屬數十人，洶洶持令箭搜抄，名曰“懲通敵，封逆產”，而所封者，悉系雅物，田園屋宇之屬不計焉。”由此可知，顧氏之藏書大部分被丁氏擄走，其漂散在外者，尚不知凡幾，沒有擺脫四分五裂、流離失散的命運。

顧沅藏書印有“彭城仲子審定”、“湘舟過眼”、“古吳武陵叔子湘舟氏珍藏”、“顧沅湘奏氏”、“武陵懷古書屋收藏”、“澧蘭又號湘舟”、“臣沅之印”、“秘香閣收藏”等。