香港開埠初期，大量離開別井的華人聚居在太平山街，居住環境擠逼，以致公共衛生問題十分嚴重；而客死異鄉的華人，不少都未能回運回故鄉安葬。約一百七十年前，為了令這些亡魂得以安息，太平山街曾經有一個地方是用作協助華人解決生前死後的問題，但後來被稱為「人間地獄」，這個地方就是「廣福義祠」。
現為二級歷史建築的「廣福義祠」，是1851年由譚亞財及坊眾殷商稟請政府撥地，在太平山街集資興建。初時為用作供奉祖先的祠堂，惟當時大量華工隻身來港謀生，他們無親無故，即使死了亦無人為他們祭祀或將遺體運回故鄉，只是草草埋葬在附近的山邊。義祠因此開始為這些客死異鄉的華人殮葬及設置靈位，祠內供奉「超度地獄眾生」的地藏菩薩。這裡的逝者姓氏各異，故義祠又稱「百姓廟」。
義祠既是用作供奉祖先，又是協助死者安息的地方，後來因管理不善，無處容身的貧窮人士都遷入義祠。加上當時欠缺公眾殮房，亦有不少病危者不願死在自己住所而留在義祠等候死亡。當時香港「豬仔貿易」發達，華人除了來港打工，更多的是經過香港，轉口販運到外國做苦工。不少華工在運送途中，因船隻環境擠迫及衛生情況惡劣，不幸患上傳染病。他們被船主逐出後，亦紛紛聚集於義祠隔離。結果，義祠便成為死者及垂死病人的收容所，加上空間不大，引致出現「人屍共處一室」的情況，室內遍佈排洩物及嘔吐物，衛生環境極為不堪。義祠內亦無醫護人員，只有職工為病人提供茶水。
直至1869 年，署理總登記官李斯德 (Alfred Lister) 調查一位過境華工在義祠死亡一事，才令祠內的衛生情況得到政府的關注。多家傳媒包括《西報》對此大肆報導，曾轟動一時。結果當局以衛生理由封閉義祠。政府為安頓義祠內的病人及遺體，促成東華醫院的成立，廣福義祠亦交由東華醫院接管。