科杰科技:湖仓融合开始数字化转型新纪元

2023-06-01

随着企业数据规模的日益增加、类型不断丰富,传统的数据架构已无法适应数字经济时代的数据存储和分析需求,湖仓一体作为一种新型融合的数据架构逐渐成为大型组织数字化转型选型的主流。

湖仓一体技术演进

时代的发展促使着数字技术的迭代和更新,一直以来,数据仓库和数据湖被企业广泛应用,数据仓库主要存储经过处理的结构化数据,面对不断增长的XML、文本、图片等半结构化和非结构化数据,数据仓库在构建过程中存在费时费力、集群规模拓展能力有限等缺点。后来数据湖的出现,尽管可以支持所有类型的数据源,且满足了数据管理的及时性和灵活性,但在事务性的支持上无法代替数据仓库。

湖仓一体作为一种新型的融合架构,于2020年被Databricks首次提出,依据Databricks对Lakehouse的定义:一种结合了数据湖和数据仓库的新范式,在数据湖的低成本存储之上实现与数据仓库类似的数据结构和数据管理功能。近两年,在中国的大数据市场上“湖仓一体”可谓是千帆竞发,以云厂商和新锐的数据科技厂商为代表的企业对湖仓一体进行了一系列的探索和努力,2022年12月中国信通院组织了业界首批云原生湖仓一体的的评测,涉及湖仓数据集成、湖仓存储、湖仓计算、湖仓数据治理、湖仓其他能力等五大能力域,科杰科技湖仓一体数据智能平台KeenData Lakehouse 凭借着领先的大数据技术和成熟完备的产品矩阵,受到专家评审团一致认可,成功通过测评。

从单一物理架构走向多架构融合,湖仓融合制胜数字化未来

湖仓的出现是为了帮助企业构建全新融合的数据平台以减少湖到仓库集成的冗余,现阶段从行业内给出的湖仓一体架构设计,大方向上可以分为两种范式,一种为“湖上建仓”也就是在数据湖之上引入数据仓库的能力,另外一种称为“湖仓融合”通过大数据创新技术对原始架构进行统一纳管,使原始数据在不需要迁移的情况下,通过机器学习和AI算法的支持使企业全域数据实现逻辑层面的统一。

经过多年的数字化实践,以湖仓融合为代表的企业科杰科技认为,首先不提倡所有企业都选择湖仓一体代替原有的数据湖和数据仓库,湖仓一体虽然能完成统一的数据存储、加工计算和面向应用端的供给,但是Lakehouse不是全新架构的替代品,无法解决企业架构升级带来的数据迁移巨大成本和原有架构效能持续发挥,因此并不提倡以新的引擎彻底换掉现有的数据架构。除此以外,随着企业IT基础资源的升级迭代,企业衍生出多种架构并存问题,企业要接受数据源在一定程度上的分散和割裂,通过多架构融合纳管来实现逻辑层面的统一;即使在数字化转型比较领先的行业,也会面临着云上数据仓库和数据平台或者第三方数据的现状问题。企业如果进行新的引擎搭建,就要选择技术领先的湖仓一体引擎,用逻辑的方式把它进行统一,建立逻辑统一数据仓库,通过产品化的方式提供数据编织的能力,完成数据业务化表达、数据组织和数据共享。

科杰科技湖仓一体数据智能平台KeenData Lakehouse打造了逻辑湖仓的新范式,产品设计在存算分离、湖仓一体、批流一体领先的技术架构基础之上,自下而上由十二款产品构成,产品矩阵覆盖数据集成、数据转换、数据开发、智能任务依赖、智能血缘解析、自动沉淀数据资产的全生命周期,是持续集成、持续开发、持续运营DataOps方法论的最佳实践。在贯穿全流程工程化能力的同时,提供全局统一的数据标准、数据质量、主数据管理、元数据管理以及数据安全的全方面数据治理能力,是数据治理与数据工程相融合的增强型大数据平台产品,提供一站式数据源到数据洞察分析和数据编织能力,为企业数字化转型提供数据底座能力。

伴随着数字化转型的不断深入,逻辑湖仓发挥其独特的技术优势,为数据底座建设提供了明确的方向。相信不久的未来逻辑湖仓将迎来爆发期,开启数字化转型新时代。

加入合作生态,实现业务创新

公司介绍


回到顶部
联系我们(09:00-18:00) 010-64703560
产品咨询

专属产品咨询服务

一站式、全链路、全可视化数据中台

众多企业选择我们,我们用实力完成客户托付

获取数据中台白皮书
极速体验开启业务智能化
×
  • 请选择服务需求类型

感谢咨询,我们会在1个工作日内联系您

×
×
×
杏彩平台