28名船員們的家——“堅忍號”， 最後被巨大的冰坨壓毀， 船體漏水， 船頭開始沒入冰海之中。 1915年10月27日， 沙克爾頓下令棄船。
船上的攝影師是澳大利亞籍的詹姆斯·法蘭西斯·赫爾利。
當下達全體人員撤離“堅忍號”命令時， 沙克爾頓要攝影師把底片都留在即將沉沒的木船中， 一張不許帶出。 11月8日， 赫爾利冒險潛入困陷在冰海之中的木船， 從即將沉沒的“堅忍號”中， 搶救回部分珍貴的底片， 共計97張。
它們的存在， 讓今天的人們對沙克爾頓一行當年所遭受過的艱難險阻， 有了更直觀的感受。
11月21日， “堅忍號”徹底沉入冰海， 探險隊員們搶下3只救生艇， 從此住宿浮冰上。
沙克爾頓心知肚明， 早先定下的橫貫南極大陸目標， 現已完全破碎， 他迅速調整計畫， 提出新的目標——大家都要活著回去！
他以極其堅定的語氣對大家說， 我們要活著回去。 與最重要的生還相比， 其他任何東西都毫無價值。 因此要毫不吝惜地扔掉任何不必要的東西， 不論其價值如何。 說完這句話， 他就從自己的皮衣裡， 掏出一個金煙盒和其他幾件金質紀念品， 扔到冰海中。
不過， 回家， 談何容易。 他們孤零零困在巨大浮冰之上， 如何跨越重洋？人們拉著救生艇和食物等活命的必要物品， 嘗試徒步走出冰雪。 體能消耗甚大， 每天卻連3千米都走不到。 沙克爾頓及時改換策略， 宣佈停止人拉艇， 放棄前進， 就在浮冰上安營紮寨。