要詳細認識茶果嶺，就要由九龍十三鄉開始說起。在殖民地時期，香港曾經被分成舊香港四區，包括：香港島、九龍、新九龍、新界。而不少文獻中所提及的十三鄉，就是位於新九龍之內，這十三條具一定規模的鄉村全盛時期是1960年代，範圍由最左的沙埔、衙前圍、竹園去到茶果嶺和鯉魚門等，亦即是今日大家所稱的東九龍地區。儘管九龍十三鄉這個名稱是近代才被提起，但其歷史最早可以追溯至宋朝，當時已有先民在此地區，建立了大大小小的村落，並在近代數次的戰爭接收難民，把附近一帶的山地和農地一一發展，形成今日大家所認識的九龍十三鄉。
茶果嶺村是以往是以採石業為主，七十年代從事採石業的人口曾佔全港總就業人數的8%，全盛時期的香港曾有十個石礦場，茶果嶺就是其中一個。茶果嶺出產的石塊，用途廣泛，但最為熟悉的莫過於是用茶果嶺出產的大麻石來建成了舊立法會與中銀大廈。
茶果嶺村內沒有井然有條的地區規劃，而是一直隨住人口增長自由發展，密密麻麻的鐵皮寮屋依山而建，錯落的一個附著一個，形成今日所見的村落。村內除了主要街道外，就只有屋與屋之間的狹窄小路，對於外來人而言，迂迴的狹道宛如迷宮。今日茶果嶺村內只餘下約約有300人居民，不少鐵皮屋早已人去樓空。
從前茶果嶺村內環境惡劣，現在已逐漸得到改善，增設了不少基本設施，如街燈及坑渠等。以往村內的食水也是依靠山上的自來水，至兩年前政府截斷了山水，寮屋一般都接駁了自來水管，安裝了水錶、電錶。惟至現在茶果嶺村內沒有洗手間，村民今日依然需要使用公共浴室及廁所。
面對水災、火災等天災或意外，茶果嶺村的環境及安全措施仍有不足。寮屋一般以木材、鐵皮及石屎等材料搭建而成，不夠牢固，若遇上颱風吹襲時，屋頂或會被吹翻，下大雨時亦或會有雨水滲入的問題；雖然不少居民現已為屋子進行裝修，若不幸地發生火災，由於寮屋環境擠擁，很多時候火勢會波及鄰近建築，消防進行滅火工作仍有一定難度，十分危險。在八十年代，村民自發組成「救火隊」，準備好基本滅火措施。若有火警便敲響銅鑼、走火警，村內至今仍保留此傳統。
早期組成茶果嶺村的人口多為客家人，以鄧、羅、曾、黃和邱四姓氏為主。二十世紀初，羅氏後人羅寬成為該村的村代表，負責處理村務，故此就在1900年在茶果嶺大街以花崗石砌成，並鋪上中式瓦片建成羅氏大屋。大屋到現時已有百多年歷史，被列為三級歷史建築。全盛時期的羅氏大屋住了二百多人，先後用作祠堂、塑膠工廠以及分租予外來租客。
