每當說起西營盤舊精神病院人們都會想到其詭異的都市傳說和靈異事件，但其實在它神秘的面紗背後是一段悠長的歷史。位於高街的西營盤舊精神病院建於1892年，至今已經過百年歷史。其原址是國家醫院宿舍，直至1939年被改作用為精神病院女病房。當時由於附近域多利精神病院不敷應用，於是變把原來的外籍護士宿舍改成女子精神病院。
大概是因爲精神病院這個身分更令大樓增添詭異感。當時的人對心理病認識不深，很多有輕微症狀的人一律被視爲精神病患者，並且被關在冷冰冰的大閘內。與其說病人在這裡療養，不如說他們都在這裡等死。二次大戰期間，日軍佔用了大樓以作刑場，而位於前方的佐治五世公園則變成亂葬崗。因此，大樓一直被流傳充滿著許多怨念。再加上高街原叫第四街，但由於「四」這個數字對華人來說並不吉利，變改成現在的高街。
再這重重的靈異氛圍下，西營盤舊精神病院卻避過許多歷史建築會面對的悲慘命運，屹立該處超過一百年。如今，大樓已經被列為法定古蹟，是香港受法律保護的歷史建築之一。而大樓於2001年亦被修復以及加建成為今天的西營盤社區綜合大樓。
