求學階段
1842年7月30日，生於新加坡，後隨父回國居廣州。
13歲時曾被綁票，逃脫後隻身赴香港聖保羅學院求學，接受了六年的西式教育，5年後，以優異成績畢業。求學期間，與黃勝—起創辦第一家中文報紙《中外新報》，又協助陳藹亭創辦《香港華字報》。
1862年，擔任香港高等法院譯員。
1864年，與何進善牧師的長女、何啟之姐妙齡女士結婚。
1870年，由高等法院調任巡理廳首席譯員。
1874年，自費留學英國，入倫敦大學學院攻讀法學，斯滿後取得大律師資格。
從事律師，幕府從政
1877年2月返港，是獲准在英國殖民地開業的第一位華人律師，同時又被港府選任為考試委員。洋務運動開始後，李鴻章深感到對外交涉人才的短缺，1877年10月6日，天津海關道黎兆棠將伍廷芳引薦給李鴻章，經過虛衷詢訪，李鴻章發現伍廷芳正是“物色數年”而未得的人才，
當即決定將之延入幕府，以便“遇有疑難案件，俾與洋人辯論。凡折以中國律例而不服者，即以西律折之，所謂以彼之予刺彼之盾也”。港督軒尼詩對其服務精神極為贊許。1878年12月16日，正式委派其為掌法紳士（後譯太平紳士），開華人任太平紳士之先河。1882年進入李鴻章幕府，出任法律顧問，參與中法談判、馬關談判等，1896年被清政府任命為駐美國、西班牙、秘魯公使，
簽訂近代中國第一個平等條約《中墨通商條約》。主持修訂法律，提出了包括刪除酷刑、實行陪審和律師制度等一系列先進主張。
心系國難憂憤而亡
辛亥革命爆發後，任中華民國軍政府外交總長，主持南北議和，達成迫清室退位。南京臨時政府成立後，
出任司法總長。1917年赴廣州參加護法運動，任護法軍政府外交總長、財政總長、廣東省長。1922年，陳炯明叛變時，因驚憤成疾，逝世于廣州。廣州越秀山上有伍廷芳墓園。