由鄧族十六個士紳組成的文武二帝會籌建、於清朝道光初年建成的二帝書院，原址本為明朝時的一座文塔，用作供奉文武二帝以興功名，據鄧氏的族譜記載，在此期間族中出過不少考得功名的子弟如首位進行鄧文蔚、鄧英元、鄧晃等等。
而在清朝道光年間，文塔被毀過後，族中的有識之士組成文武二帝會，合資興建書院、購買田地租予他人以獲得持續的資金，為貧苦白石巷子弟免去學費。而在二帝書院建成後，隨即成為當區的最高學府，各地學者都以能來此處講學為榮。
二帝書院整體的佈局與一般書院都是大致相同，均為兩進，但奇特之處在於其入口不在建築物的正面，而在於側面。而在門關位置，內牆設有一土地神龕，入內大龐的前室就供奉了文武二帝、魁星以及財帛星君，後室則為書室。
