1892年，舊牛奶公司倉庫落成。經過近百年的服務，牛奶公司於1982年遷出，而香港外國記者會於同年進駐北翼。
外國記者會成立於重慶，其創立終旨在於爭取新聞自由，並用以聯繫香港境外記者和當時的國民政府。1949年，外國記者會遷至香港。起初，記者會在香港沒有固定會址，成員會在舊告羅士打大廈酒廊聚會。其後更改至地下咖啡店和位於溫莎行閣樓的牛奶公司餐廳。直至1982年，香港外國記者會向麥理浩港督提出請求租用位於雪廠街的舊牛奶公司倉庫，並承諾會妥善保育改建築。最後，申請成功受理，記者會在該地便一直紮根至今。
2016年起，該會每月都會付最少55萬港元予香港政府以續租約，而保養費用亦全數自資負責。