1655年（清順治十二年、明永曆九年）， 張名振與張煌言合兵三入長江， 抵燕子磯， 因兵力單弱， 無功而返；乃會同鄭成功部甘輝、陳六禦等收復舟山， 張名振縞素入城， 遍覓母屍， 哀動三軍。 歲末， 張名振猝死。 死前曾言：“吾於君母恩俱未報， 若母屍不獲， 毋收吾骸。 ”言畢起坐， 擊床而逝， 死不瞑目， 猶凜凜有生氣。 後葬于普陀勾山南嶴村。 張名振原本遺囑由張煌言統領其軍， 而鄭成功卻下令由陳六禦接掌。 次年清軍再度佔領舟山， 陳六禦陣亡， 在將士的推戴下張煌言成為原魯監國系統軍隊的主要領袖， 繼續同鄭成功聯合作戰。
1658年（清順治十五年、明永曆十二年）， 永曆帝封鄭成功為延平郡王， 張煌言為兵部左侍郎。 同年清軍進犯雲貴， 鄭成功、張煌言進軍浙江， 攻克樂清、寧海等地， 在羊山遇颱風， 損失巨艦百餘艘， 漂沒戰士八千余人， 被迫撤回廈門。
1659年（清順治十六年、明永曆十三年）， 張煌言與鄭成功一起， 為牽制大舉向雲貴地區進攻的清軍， 再次率義軍入長江作戰。 先是， 義軍抵達並佔領崇明。 張煌言對鄭成功建議說：“崇明， 江、海門戶”， 宜先將義軍“定營於此”， 稍事休整， 務使義軍“進退有所據”。 但鄭成功未聽從。 當時， 駐防長江的清軍，
六月二十八日， 張煌言軍直抵南京觀音門外江面， 停留兩日仍不見鄭軍的到來， 只得派遣別的將領率輕舟數十艘的水軍， “直（西）上攻蕪湖”， 他自己則率軍駐紮在浦口。 待鄭成功率“水師”到達後， 張煌言又於七月七日趕到蕪湖， 在此， 他“部勒諸軍”， 將義軍兵分四路， 分道攻城掠地， 且在沿途“移檄諸郡縣”， 張貼文告。 許多故明降清的舊官吏， 見到文告， 紛紛倒戈， “於是太平、甯國、池州、徽州、廣德及諸屬縣皆請降”， 使義軍很快便收復了四府、三州、二十四縣， 城池近三十座。 義軍紀律嚴明， 所過之處， 對民眾百姓“秋毫無犯”。 張煌言每“經郡縣， 入謁孔子廟， 坐明倫堂， 進長吏， 考察黜陟， 略如巡按行部故事， 遠近回應”。致使出現“父老爭出持牛酒犒師，扶杖炷香，望見衣冠，涕淚交下，以為十五年來所未見”的空前盛況。而“瀕江小艇，載果蓏來貿易者如織”，給義軍很大支持與鼓舞。可是，這一大好形勢，卻因鄭成功率軍攻打南京城的失利，而很快急轉直下。正當張煌言收復徽州時，聞鄭成功在南京城下兵敗之事，於是“還蕪湖收兵，冀聯合瓜洲、鎮江（義）軍為守計”，期待有利時機，再作他圖。不久，張煌言又得到鄭成功軍已放棄瓜洲、鎮江等地，而退回海上的消息，致使張煌言所率義軍處於進退維谷、腹背受敵的危險處境，很快遭致潰敗。
此際，清兩江總督郎廷佐一方面調遣水軍切斷張煌言義軍東退的水路，另一方面又寫信向張煌言勸降。張煌言對招降書“拒不應”，同時，為擺脫困境，又率“餘兵道繁昌，謀入鄱陽湖”，向江西發展。當義軍船隊進抵銅陵時，卻與湖廣來援的大批清軍水師遭遇，與之激戰而敗退。最後，張煌言“撫殘兵僅數百，退次無為，焚舟登陸”。又從陸路自桐城，取道霍山、英山，到達東溪嶺時，適逢清軍“追騎至，從者盡散”。張煌言好不容易才突圍而出，只得“變服夜行，至高滸埠，有父老識之，匿於家數日，導使出間道，渡江走建德、祁門亂山間”。此時張煌言身染瘧疾發作，幾不能行，但他仍不顧病痛，奮力疾行。到達休寧後，“得舟下嚴州”。登岸後，又複行山路，途經浙江的東陽、義烏“至天臺達海”。歷盡千難萬險，兵敗後繞道潛行二千餘裡，九死一生，終於回到了浙江沿海地區。此後，他“收集舊部”，準備東山再起。鄭成功得到張煌言生還的消息後，也將自己的部分兵力撥歸他統轄，致使義軍稍有壯大。張煌言將義軍屯駐長亭鄉，“築塘捍潮，辟田以贍軍”需軍餉。同時，張煌言又派遣使者向桂王稟告自己兵敗的消息。桂王得悉後，在敕書中表示安撫慰問的同時，又給他“加兵部尚書”的職銜。
遠近回應”。致使出現“父老爭出持牛酒犒師，扶杖炷香，望見衣冠，涕淚交下，以為十五年來所未見”的空前盛況。而“瀕江小艇，載果蓏來貿易者如織”，給義軍很大支持與鼓舞。可是，這一大好形勢，卻因鄭成功率軍攻打南京城的失利，而很快急轉直下。正當張煌言收復徽州時，聞鄭成功在南京城下兵敗之事，於是“還蕪湖收兵，冀聯合瓜洲、鎮江（義）軍為守計”，期待有利時機，再作他圖。不久，張煌言又得到鄭成功軍已放棄瓜洲、鎮江等地，而退回海上的消息，致使張煌言所率義軍處於進退維谷、腹背受敵的危險處境，很快遭致潰敗。
此際，清兩江總督郎廷佐一方面調遣水軍切斷張煌言義軍東退的水路，另一方面又寫信向張煌言勸降。張煌言對招降書“拒不應”，同時，為擺脫困境，又率“餘兵道繁昌，謀入鄱陽湖”，向江西發展。當義軍船隊進抵銅陵時，卻與湖廣來援的大批清軍水師遭遇，與之激戰而敗退。最後，張煌言“撫殘兵僅數百，退次無為，焚舟登陸”。又從陸路自桐城，取道霍山、英山，到達東溪嶺時，適逢清軍“追騎至，從者盡散”。張煌言好不容易才突圍而出，只得“變服夜行，至高滸埠，有父老識之，匿於家數日，導使出間道，渡江走建德、祁門亂山間”。此時張煌言身染瘧疾發作，幾不能行，但他仍不顧病痛，奮力疾行。到達休寧後，“得舟下嚴州”。登岸後，又複行山路，途經浙江的東陽、義烏“至天臺達海”。歷盡千難萬險，兵敗後繞道潛行二千餘裡，九死一生，終於回到了浙江沿海地區。此後，他“收集舊部”，準備東山再起。鄭成功得到張煌言生還的消息後，也將自己的部分兵力撥歸他統轄，致使義軍稍有壯大。張煌言將義軍屯駐長亭鄉，“築塘捍潮，辟田以贍軍”需軍餉。同時，張煌言又派遣使者向桂王稟告自己兵敗的消息。桂王得悉後，在敕書中表示安撫慰問的同時，又給他“加兵部尚書”的職銜。