明嘉靖进士庞尚鹏在其《区划濠镜保安海隅疏》中曾描述，16世纪中叶葡人初入澳门时，明守澳官司权令搭蓬栖息，殆舶出洋即撤去。后葡人在澳大量建屋，很快达到数百所，进而至千所以上。为控制葡人势力日炽，万历间广东海道副使俞安性与澳葡约法五章，其中第五款规定禁止澳门葡人禀自兴建屋宇。葡人已有房屋朽烂时，可照旧样翻修，但不许添造一石一木。（注：见印光任、张汝霖：《澳门记略》，赵春晨校注，澳门文化司署，1992年，第66—67页。）此项规定一直延续至鸦片战争以后。
尽管如此，澳门葡人仍然拥有大量不动产。许多葡人出租房屋谋利。《澳门记略》提到，葡人房产“赁于唐人者，皆临街列肆”。（注：同上书，第147页。）这种临街房屋可用作店铺，故在当时被称为“铺”或“铺房”。东坡塔档案中有不少华葡双方有关租赁房屋纠纷的文件，可见至18世纪末19世纪初，出租房屋仍是在澳葡人谋生的一种重要方式。谢清高本人租居“桔仔围”的房屋即属于葡人咹哆呢·啰吵。上述档案四称其二十年纳夷租银无异，档案五说谢清高连续付租时间为二十余年，可见他在此居住了相当长的时间。
据此，我们可以对谢清高开始租居桔仔围铺屋的时间作一推测：上述第一份档案中提到，嘉庆十一年（1806）军民府向谢清高追索谢所欠葡方房东两年房租。档案五明确指出，谢清高所欠两年房租的时间为嘉庆九年（1804）和十年（1805）。据此谢清高自述的每年纳租，二十余载无异一句应释为，从嘉庆八年（1803）起上溯的二十年中，双方从未有过租赁纠纷。可见谢清高起租桔仔围的时间当为乾隆四十九年（1784）以前。
前已经提及，谢清高生于乾隆乙酉年（1765）。十八岁（1782，此处以虚岁计）时附番舶出海。杨炳南《序》中提到，谢清高每年出海。换而言之，可理解为他每年归回澳门。谢清高至少从乾隆四十九年以前就在桔仔围租居葡人房屋这一事实，证明了这一点。他并非十余年中一直在海外漂泊，而是自初次，或最初二、三次出海归来后，便开始在澳门租居葡人房屋。在他漂洋过海的十余年间，一直支付着租银，每当出海归来，便居住于桔仔围。