在香港公園裡沿斜坡向上走，一棟英式建築隨即映入眼中。香港視覺藝術中心整棟共高六層，建築依山而建，由四座樓宇以四個階級組成一座，以配合陡斜的地勢。
香港視覺藝術中心前身屬舊域多利兵房的C座，為已婚英軍宿舍卡素樓 (Cassels Block)，建於1900年左右，主要為了解決讓出部分威靈頓軍營（Wellington Barrack）予海軍後，軍人宿舍不足的問題。後來於日軍侵港期間，卡素樓曾遭到猛烈轟炸，及被日軍所佔用，戰後才得以重修。後來1979年卡素樓連同其他屬域多利兵房的建築物一同移交給香港政府後，於1989年2月被改建為香港視覺藝術中心，1992年正式啟用，除了定時舉辦藝術課程、展覽和講座等活動，此中心更用作陶瓷、雕塑與版畫藝術的專業研習場所，以推動香港的藝術發展。
香港視覺藝術中心的建築風格為愛德華古典復興式，充滿西洋氣息。外牆由紅磚建成，以往被漆上灰色及粉紅色，後來全被髹上米白色。我們所看到的一列列圓拱形窗原本為開放式拱形柱廊，後來才以玻璃圍封，擴大室內空間。若大家走到大樓的入口處，會看到建築裝有金屬支架及玻璃天幕，頓時增加不少現代感。
