白沙澳村是一條雜姓村，由客家人來港與本地人慢慢聚居而成的一條小村，包括有何、翁、葉、林、黃、劉等姓。由當時到現在，白沙澳村都是一條與世無爭的村落，位於幽靜的西貢。往昔居民都以農為業、以農為生。
來自深圳鹽田的何祥元於1860年代就來港居住在白沙澳村，他的子孫亦標及亦高在1910代起於藍煙囪輪船公司（Blue Funnel）的輪船上擔任海員工頭和燒火。後來他們在油麻地創辦了薦人館，店號「仁義和」，為外國的船業代理招聘。後來賺夠了錢，便於1911 至1915年在原居地建了大屋，成為何氏一家的居所。大宅於日佔時期曾被日軍佔據。直至1970年代何氏開始相繼搬離，部分住處才開始租出給外人。
何氏舊居主要由排屋及更樓組成，大門可見依然用橫向開合的柵欄式拉門。排屋分成前後兩排，前排有門樓及廂房，後排則為祠堂及兩個側廂房。門樓及祠堂位於中軸線上，佈局均稱，內部有天井，祠堂內置有何氏祖先的神位。排屋旁邊有更樓及另一組廂房。更樓主要作防衛土匪和海盜之用，下層更曾用作書室。
