易鑫金融吧 关注:185贴子:1,218
  • 6回复贴,共1

易鑫从“散装”数据,到自建“智能数仓”

只看楼主收藏回复

徐飞是易鑫“智能数仓”项目的第一位员工。彼时的易鑫,还没有一个真正意义上的“数据仓库”,众多业务数据被“散装”在几十个互不相通的业务操作系统中,只能通过手工报表导入信息。数据标准不统一,靠“手工”管理的表格极易出现错漏,严重制约了业务的进一步发展。
作为国内首批从事大数据平台建设、应用研发的专业人员,徐飞不仅参与过多家大型互联网企业的数据中心构建,还有一段不短的创业经历,帮助过众多中小型互联网公司构建独立中心数据仓库,这使得他在自建易鑫“智能数仓”的工作中,能给出更精准的设计和前瞻性的战略布局。
“和互联网公司汇集海量用户的行为数据不同,易鑫是以业务数据为主,对数据平台的安全性、稳定性和数据精准度、可用易用性要求更高;同时,公司多业务并行,数据横跨多个系统、链条拉得很长,口径不统一、标准不兼容,第三方商业数据库没法完全满足需求;作为一家平台化发展的企业,系统必须具备支持多项目运行的复杂运算和无限扩容的能力,以满足随着业务增长、未来数据处理量几倍、甚至上百倍增长的要求。”
徐飞说:“综合考察各种商业数据库的方案,也参考了互联网企业经验,我们发现自建数仓是最‘慢’、最‘费力’,但也最‘扎实’的解决方案。”

上图:易鑫“智能数仓”团队在工作中


IP属地:重庆1楼2021-12-21 12:03回复


    IP属地:广东来自Android客户端2楼2022-02-21 18:16
    回复


      IP属地:广东3楼2022-06-21 09:48
      回复
        易鑫的车贷还是不错的,值得推荐


        4楼2022-06-22 10:42
        回复


          来自Android客户端5楼2022-12-10 14:46
          回复


            IP属地:广东6楼2022-12-30 15:38
            回复


              IP属地:广东7楼2023-04-06 14:48
              回复