大家會否覺得西港城的外型跟尋蹤覓蹟曾介紹的歷史建築非常相似？其實，它與中環舊牛奶公司倉庫一樣同屬英國愛德華時期建築風格。愛德華式建築相比起維多利亞時代的建築較簡單和古樸，並且善用對稱軸先設計，空間亦會更寬敞實用。這種建築風格於1901至1910年代在英國十分盛行，而香港作為英國殖民地亦受此建築風格影響。
西港城以花崗石及紅磚砌成，閣樓的外牆飾有帶狀磚飾，建築師以石塊不同的顏色及紋理形成豐富的色調。建築的結構均反映出當時出色的建築技巧，例如鑄鐵大柱的結構、花崗石梯街和屋頂的鋼樑架等，這些都令西港城更添一份典雅氣息。除此之外，西港城的斜屋頂更加以中國式捲狀瓦片鋪設，由此反映出香港早期中西建築風格糅合的特色。
西港城原本只有兩層，但活化後在兩層之間另加一層閣樓，以容納更多商店。