由於“十三行”的大部分生意是與另一壟斷者即英國的東印度公司做的,東印度公司是大英帝國的全權貿易代表,然而在1834年,東印度公司的貿易壟斷權卻被英國政府取消了。而當時中國“一口通商”的方式無法滿足日漸增長的對外貿易活動,“十三行”與英國自由商人的貿易摩擦日漸升級,已經逐漸變為19世紀中西關係危機的焦點。

伍家的怡和行向來做的是正經生意,茶葉貿易是伍家最主要的業務。但是,一些伍家擔保的外國商人為了謀取暴利,往往在貨物裡夾帶鴉片。對於伍家來說,一方面是朝廷官府,一方面是多年來貿易往來的生意夥伴,兩邊都得罪不起。因此,他們只能儘自己的全力居中化解這些危機。

在林則徐至廣州禁菸後,伍家積極配合,將外商上繳的一千餘箱鴉片交給了林則徐,但是,林則徐認定這些鴉片是十三行行商與英商串通一氣欺騙官府才交出來的,於是派人鎖拿伍秉鑑的兒子伍紹榮到欽差大臣行轅審訊。面對官府的yin威,伍家只能妥協,表示願以家資報效。儘管伍秉鑑曾向朝廷捐鉅款換得了三品頂戴,但這絲毫不能拯救他的事業。由於與英國商人千絲萬縷的聯絡,他曾遭到林則徐多次訓斥和懲戒,林則徐甚至還下令將涉案的伍紹榮革去一切職銜,逮捕入獄。伍秉鑑不得不一次次向清政府獻出鉅額財富以求得短暫的安寧。經過如此幾番折騰,伍秉鑑顏面盡失,可以說斯文掃地。

1840年6月,英國遠征軍封鎖珠江口,鴉片戰爭爆發。伍秉鑑父子爭取和平解決鴉片問題的努力徹底失敗了。伍秉鑑清楚地知道,英國發動這場戰爭的根源,正是不滿廣州“一口通商”和十三行的壟斷貿易地位,一旦英軍獲勝,毫無疑問,廣東行商集團的獨特貿易地位將完全喪失。

為了打贏這場戰爭,伍家和其他行商,都為這場戰爭貢獻了鉅額的財富。戰爭甫一開始,伍秉鑑和十三行的行商們就積極募捐,出資修建堡壘炮臺、建造新式戰船、製作火炮槍械。縱然如此,已經落後於時代的清軍仍然全線潰敗。1841年5月,英軍長驅直入,兵臨廣州城下時,欽差大臣奕山統領的清軍無力抵抗,奕山情急之下,想出了一條計策——命令列商們前往調停。廣州城外,奉命行事的伍紹榮和行商們與英軍首領義律展開了討價還價。最終,雙方簽訂《廣州和約》,按協議,清軍退出廣州城外60裡,並於一個星期內交出600萬元賠款;英軍則退至虎門炮臺以外。這600萬元鉅款,有三分之一由十三行商人出資,其中伍秉鑑所出最多,共計110萬元。

遺憾的是,這次贖城之舉沒有給伍秉鑑們帶來任何榮譽和感激,而是更多的非議。從戰爭一開始,跟洋人做生意打交道的行商,就被國人扣上了“漢奸”的帽子。不管他們捐獻多少銀兩,為國家和民眾做了多少貢獻,也摘不去這個帽子。…;

1842年,鴉片戰爭以清廷完敗結束。《南京條約》簽訂後,在隨後的賠款中,伍家被勒索繳納了100萬元,行商公所認繳134萬元,其他行商攤派66萬元。清政府在1843年還下令行商償還300萬銀元的外商債務,而伍秉鑑一人就承擔了100萬銀元。

此時的伍秉鑑已經意識到,在這樣的環境下,他所積累的財富註定不會長久。在戰爭中,伍家損失了不下200萬兩白銀。但這筆數字,對於這位號稱擁有2600萬兩白銀的世界首富來說,並不至於傷筋動骨。此時,深謀遠慮的伍秉鑑已經把生意拓展到了海外,行商生意已經不再是伍家唯一的生命線了。然而,在完成了移資海外計劃後的伍秉鑑,此時卻已是心灰意冷。1843年9月,風燭殘年的一代世界首富伍秉鑑,溘然長逝,終年74歲。

伍秉鑑死後,曾經富甲天下的廣東十三行開始逐漸沒落。隨著“五口通商”的實行,廣東喪失了在外