舊鯉魚門軍營是港英政府在香港最早期設立的重要防禦設施之一，位處港東北角扼守維港東面入口，俯覽鯉魚門。渡假村的前身就是舊鯉魚門軍營，自1845年就有英軍駐守，幾經改建成為永久性的軍事防禦設施，百年之後轉輾成為康樂用的渡假村。誰又會想到經2003年的沙士之後，這座重要的歷史建築又將變成隔離營。
鯉魚門軍營的位置在1845年就有英軍駐守，但直到1880年英軍才正式決定在此修築碉堡以及鯉魚門炮台等設施。至於現時部分被改建成渡假村的軍營中央區（主兵房），就是在1890年至1939年期間建成，主要用作英軍辦公室及已婚人員宿舍。直到20世紀初，鯉魚門炮台、西灣炮台以及1903年興建成的白沙灣炮台，已經構成一個重要的海防據點。
然而，1941年香港保衛戰中，人手的不足令到軍營未能發揮應有的作用，日軍成功登陸香港島後迅速攻陷軍營，大批戰俘在炮台位置被殺。雖然軍營落入日軍手中，佈置大量防衛設施以及挖穿隧道，但整體並沒有受到大破壞。香港保衛戰結束之後，鯉魚門軍營的作用大不如前，只是被香港軍事服務團作新兵訓練、倉庫等。
直到1985年，軍營土地移交給政府，有多座殖民地建築風格的法定古蹟和歷史建築的中央部份被改為鯉魚門公園及度假村，繼2003年被用作隔離淘大花園E座逾300名居民後，來日會作檢疫中心，預留安排作「隔離營」。
