第二所書院於1920年由東華醫院總理何世光興建，位於廟宇建築群南端，為兩進一天井結構。直至1955年，政府推行新的教育政策，建立官立小學，大量增加小學學位，東華三院就將書院改作解簽檔。於1991年起，書院停止運作，只供東華三院的職員所用。2016年，書院變成祭祀習俗演進館，向公眾開放及介紹油麻地天后廟的變遷。廟前放了兩塊刻有「海不揚波」和「永錫安寧」的石額。於2020年7月，東華醫院在沒有改動任何建築物結構及外觀的情況下，將書院作內部翻新，提供香港及中國歷史、香港專題、宗教哲學等專題書籍及文創產品。
福德祠（觀音古廟）建於光緒二十九年（1903年），於廟宇建築群北端，原本供奉土地神，但因為當時廟前便是公共碼頭，為祈求庇佑海上平安，居民便將觀音請來供奉，並將「觀音古廟」牌匾裝於廟門上。而因觀音的地位在中國傳統上比土地神高，土地神便自然地須將主位讓出。福德祠為兩進式建築，是天后廟建築群內規模最小的一座，原有天井已被覆蓋。
公所建於1920年，即是供油蔴地五約商議地區事務的場所。在天井設置有社壇。而由於南面（廟南街）的居民有觀世音菩薩保佑，位於北方（廟北街）的居民亦再請來觀音於公所內供奉，於是油麻地天后廟的兩旁都觀音廟，廟北街的公所則稱作「社壇觀音樓」以作區分。公所為兩進式結構，南邊有一座附屬建築物， 以半圓形拱道連接。
