理论上是出生就有。但是记忆编码的模式不一样。
相关的因素有大脑的发育成熟度和不同的记忆编码模式。
语言功能成熟以前，很少进行语言编码和意义编码。
在三岁后逐渐切换到以围绕语言和意义进行编码之后，之前的记忆就很难提取了。
楼主可能是语言中枢被block被迫回到了之前的记忆提取模式，也可能是幻觉。
没有办法验证，所以只能给一个可能性的解释。

心脏日常扑街的只记得感知中枢挂机的白光和蜜蜂叫emmm

哪怕你3岁的时候就过目不忘了，因为缺乏成熟的理解力，恐怕能记住的也都是浆糊罢？
其实遗忘是一个很好的保护机制，这样很多痛苦（比如失恋啦，失去亲人啦）都可以逐渐淡忘。谁愿意记得刚出生的时候，动也不能动，眼神也不好，被人一把屎一把尿喂大的经历呢？
我记得有个女的因为过目不忘，每天发生的事情全部能准确复述出来，结果老公过世了很久，对她来说就像是昨天刚目睹其离世一样...
这绝对不是天赋，而是诅咒啊