覲廷書室旁有一與其一脈相承的建築，名為清暑軒。初次到訪，只看其名還以為是特別為避暑而設的建築。豈料清暑軒跟避暑沒有一絲關係，而且它本來只是建築底層一間廂房的名字，而位於覲廷書室旁的這座建築物一開始並沒有名字。
清暑軒建於1870年，比書室稍遲落成。二樓的通道與書室相連，工程十分繁複，當時更遠道聘請工匠完成整座建築物。作為會客的地方，清暑軒設有睡房和會客室。當中的陳設非常有氣派，一點也不馬虎。隨處可見的灰溯和壁畫都非常吸睛，建築物內的木刻、漏窗和抖共都顯示出中國南方傳統豪門的氣派。
清暑軒呈曲尺形，一樓是不同的廂房。二樓則為睡房，房間中央擺放一張有帷帳的大床。房門呈圓拱形，反映出中西揉合的文化。除此以外，清暑軒亦受當時的廣州建築風格影響。其實，當時的廣州建築風格採納了各國的建築特色，例如印度、阿拉伯、波斯、猶太、葡萄牙、日耳曼等。單單一座建築就可以發現不同國家的特色，饒有趣味。清暑軒內保留著清代廣東三大狀元之一——林召棠書贈和鄧香泉的對聯，寫道：「守東平王格言，為善最樂；導司馬公家訓，積德當先」。這幅對聯本放置在「崇德堂」神龕兩旁，現則擺放在清暑軒內。
1993年，清暑軒完成重修工程，亦回復了當年的光采。
