文天祥以状元身份受到皇太后赏识，受命为宋度宗讲易经，讲了两年，挣了一大笔钱（宋朝对皇家教师非常看重，每上完一堂课都会有例行赏赐，而且所赏金额非常优厚，远远超过了正常薪水），遂于1271年回江西老家盖房。江西庐陵往南百里有一座文山，风景优美，泉水甘甜，于是文天祥在文山南麓半山腰里买了一块地，南北长达三十丈，东西宽达一百丈，他在这块风水宝地上盖了一座“种竹斋”、一座“见山堂”、一座“拂云亭”、一座“澄虚阁”，前挖荷塘，后引飞瀑，左面种奇花异草，右面饲养珍禽异兽，地地道道一座山中别墅。该别墅建成以后，“先生酒壶钓具无日不来，夫人步舆轻轩有时而至。”（文天祥《山中堂屋上梁文》）文天祥两口子经常来这里度假。
文天祥曾经很得意地说：“昔晦翁爱武夷而不能家，欧公卜颍水而非吾土。余何为哉？乃幸得之！……自此定居，永为安宅。”当年朱熹先生想在武夷山隐居，却没钱盖房；欧阳修先生晚年在安徽亳州盖了房，亳州却不是他的老家。跟这两位先贤比起来，我文天祥实在是幸运多了：第一，我有钱盖房；第二，我盖的房子位于故乡。所以我要知足，我要永远在这里定居下去。
能不能在此永远定居呢？肯定不能，公元1273年，文天祥的文山别墅建成刚刚一年零四个月，山下农夫烧山耕田，将其精心构筑的“见山堂”和“澄虚阁”付之一炬。文天祥沮丧之余，又花钱雇人重建住宅。
公元1275年，蒙古兵势如破竹攻入南宋腹地，临安告急，文天祥将重建后的别墅卖掉，用卖房的钱招兵买马，起兵勤王，率领一万人马上阵杀敌。从某种意义上说，此时他的住宅又毁掉了一次，不过这次不是毁于天火，而是毁于战火，毁于国仇家恨。