西港城前身是舊上環街市北座，原址實為海事署（海關前身）舊址。只為當年海事署地方不足，未能應付繁瑣的船政管理，便遷往中環新填地區，而該處則拆卸改建成為上環街市北座。南座於1981年因興建地下鐵路工程被拆卸，該處變成上環市政大廈。1989年，上環市政大廈正式啟用後，北座街市被停用。
1990年，上環街市北座正式被列為香港法定古蹟。同年六月，土地發展公司（即現時市區重建局）全面修葺大樓，將上環街市北座大樓改建成傳統行業及手工藝中心，並改名為西港城。說起布藝工業，大家可能第一時間都會想起位於深水埗欽州街的布棚。而其實西港城亦有一個迷你布藝市場。當時花布街（即永安街）正面臨清拆，該處的布販被安排搬至西港城繼續營業。亦因如此，西港城內有不少都是附近的老字號。
西港城的外觀的確別具風格，把它形容作上環地標也不為過，可惜的是活化後的西港城並沒吸引太多人到訪。擁有百多年的歷史建築變得如此冷清，實在令人惋惜。
