饒宗頤文化館主要留有荔枝角醫院的外觀，除了受損嚴重的部分在活化保育過程中被更換外，原有的紅磚、瓦頂等建築部分都得以保留，讓大家可以欣賞到此紅磚牆建築群的原貌。
饒宗頤文化館風格為中西合壁，依山而建，主要分為三區：上、中、下區。下區於1910年建成，屬最早落成的建築，中及上區建築群則於1930 年代落成。三區的樓房的建築和結構相同，為長方型樓房，主要並排而建。既為醫院用處，建築設計多以簡約實用為主，省略了大部分的裝飾。樓房的牆身為英式紅磗建築風格。屋頂為由木製或鐵製桁架支撐的雙層中式金字瓦頂，並架上木椽，瓦頂下更裝有簷板（木板）用作擋水。而山牆則是以富有中國建築風格的踏步式設計，用以花崗岩角石築成，因應香港長年多雨的氣候而建造，以處理排水的問題。
下區的建築樓房保留有半圓窗戶及煙囪。木門木窗頂上紅磚砌成拱形，其位置都以助通風為主。樓房內設有一個火爐，裝置的概念由西方引入，在荔枝角檢疫站改成監獄後計劃興建。中區置有觀音像及土地神像。
饒宗頤文化館三區建築群的紅磚牆砌法其實不盡一樣。下區建築群的紅磚牆主要是傳統英式砌法，以長磚及短磚層層相間砌成，牆壁會較為穩固，加強結構。而牆壁亦為中式夾牆，共兩層，有助防潮及隔溫。另外，紅磚牆邊更被磨成平滑，以方便病床進出。而中區建築群的牆身只有一層，因應當時為盡快完成工程供以服務。中、上區建築群的牆身原本亦是紅磚表面，後來被鋪上水泥，並髹上白色油漆。
另外，大家有留意到的話，或會發現一些牆上裝有些牌子，刻有裝置年份日子，它們其實是裂紋探測器，用來檢察建築的結構。下區其中一些裂紋探測器於1970年被裝上，部分裂紋探測器已裂開，顯示建築物的結構曾出現轉變，幸建築至今經多年的保養加固後依然完整。
文化館內還有兩座焚化爐，建於1930年代，應是分別用作焚燒醫療廢物及普通廢物之用。
