在美孚，一個紅磚建築群安在一隅，被翠綠環抱著，寧靜優雅。已建成百餘年，饒宗頤文化館之處的用途曾因應需求進行多番更變，先後成為海關分廠、華工屯舍、檢疫站、監獄、病院和療養院等，極具特殊的歷史意義，見證了香港的地區史，是為充滿歷史文化氣息的一座珍貴建築。饒宗頤文化館現被列為三級歷史建築。
九龍關深水埗分廠
饒宗頤文化館所在位置最初為九龍關深水埗分廠。追溯歷史，粵海關為清廷所設置的海關之一，管轄廣州包括香港的海關稅務，嚴防走私。香港島於清朝年間被割讓給英國後，香港開埠成為自由貿易港口，惟於進出香港的船舶仍然要受到清延的粵海關搜查，打擊鴉片走私。後來清廷就鴉片貿易與英國簽訂協議，鴉片經繳稅後便能於香港進口及出口，清延便停止查驗。1887年，粵海關在香港設立分關——九龍關，有多個關廠，由洋人管理，徵收香港境內的鴉片關稅及監察走私活動。饒宗頤文化館以前是臨海位置，為當年的九龍關深水埗關廠的所在之處，設於1895年，其關廠界石仍可於饒宗頤文化館內見到。深水埗關廠最後於1899年關閉，只留作驗證鴉片之用，營房後來亦被拆卸。
華工屯舍
後來於1904年，九龍關深水埗分廠更改用途為華工屯舍，俗稱「豬仔館」。「豬仔」，即是指清末年間前往海外謀生的華人勞工，主要來自廣州的貧窮農民或漁民。惟他們多被代理公司拐騙，工作辛勞，缺少福利，生活艱苦，死亡率亦非常高。於1902年，德蘭士瓦成為英國的殖民地，當地擁有大規模的金礦，故於中國南方招聘大量華工作礦工。英資公司太古洋行以 The Chamber of Mines Labour Importation Agency 公司名義，向英政府租用已荒廢的九龍關深水埗分廠營房位置，興建華工屯舍，作為「豬仔」運送、販賣、暫住的地方。華工屯舍以草房及棚屋組成，能容納約萬人。後來於1905年，德蘭士瓦的礦工因工作過於辛勞及受到不公平對待，進行罷工及反抗；加上當地法規問題，逐禁止聘請華工，而「豬仔」招募工作漸漸移向北方的地區進行，華工屯舍於1906年關閉，短短只運作了兩年。
荔枝角檢疫站
後來於1900年代初，多種傳染病於華南地區開始爆發、肆虐，香港後來於1908年亦爆發天花傳染病，基於荔枝角曾是渡口，而鄰近的昂船洲疫症隔離所改建為軍營，政府便向 The Chamber of Mines Labour Importation Agency 公司購買華工屯舍舊址，改建成紅磚屋，加建大石圍牆，作為荔枝角檢疫站。只要登上荔枝角渡口的船上曾有疫症病患者，船上所有人都須被帶到檢疫站進行檢查，以隔離傳染病患者。而九龍關深水埗關廠遺留下來的建築用作警衛室。荔枝角檢疫站運作了兩年後關閉。
