张岳崧的故居位于今定安县龙湖镇高林村的西北边和西南边，坐北向南，总面积2700多平方米。故居有两处，一处为出生之祖居（俗称上署），位于高林村西北边，占地1500多平方米。原建有坐北向南的1厅2房正屋7幢、横房6幢、八角亭1座、庭院10个、拱门1个。房屋大柱多用菠萝蜜树加工而成，中间纵卧一条南北走向的路巷，四周有围墙，由张岳崧两兄弟和几个儿孙共同修建。今仅存有正屋1幢（1厅2房），屋宇陈旧破败。拱门内外庭院里有张岳崧亲手栽植的百合花、含笑花各1株，颇茂盛。拱门内庭屋前的百合花清香洁白，象征主人崇尚廉洁，正直不阿，清白做人的气节。拱门外庭的含笑花象征主人乐观豁达、家庭和睦。另一处位于出生地西南面5米多处，坐北向南，占地1200多平方米（俗称下署）。四合院式构筑，是张岳崧居官时所建，并得到其孙媳许小韫娘家人的大力支持。原建有1厅4房的正屋2幢，均为20支菠萝蜜木柱与桁桷砖瓦建成，屋较为宽敞；1厅2房的大屋1幢，都是用10支菠萝蜜木柱与石砖瓦构建；还有横房7幢、庭院5个、花园2个，朝南开一个山门，四周有围墙。张岳崧之孙媳、才女许小韫的柏香山馆也设在此。著名的高林学馆就设在西北面的1幢大屋里。下署共有36个门，今院墙、院门均已损坏，仅存正屋1幢，后屋1幢，两侧横房2幢。以上两处故居的主要建筑物在1953年遭强台风刮倒。故居1986年被列为县级文物保护单位。