DataOps(数据研发运营一体化)作为一种现代数据运营理念,是重构数据生产关系的前沿实践,对组织内数据工具、流程、人员的重构有重要推动作用,助力提升协同效率,促进数据文化接纳,为产业数据引擎换挡,是企业数字化转型的重要抓手,受到全球大数据产业广泛关注。
2023年谷雨(4月20日),为进一步推动DataOps理念的价值释放,推动产研融合、产业实践,由中国信息通信研究院、中国通信标准化协会、上海市经济和信息化委员会指导,大数据技术标准推进委员会(CCSA TC601)组织主办的首个DataOps大会在上海成功举办,科杰科技出席本次大会,联合创始人&执行总裁郭振强在会上分享《基于DataOps理念构建企业级湖仓一体数据底座》。
会上,信通院公布科杰科技成为首批DataOps产品创新实验室单位之一,未来双方将联合探索DataOps创新实践方案。同时,郭振强受聘为信通院DataOps专家,致力于数据产业建设,推动大数据产业高质量发展。
科杰科技联合创始人&执行总裁郭振强受聘DataOps专家
数字化转型的五大发展趋势
基于对企业数字化转型遇到的问题、对技术和产品的创新、多年的最佳实践落地和对行业的敏锐洞察以及DataOps理念的理解,科杰科技在会上分享数据底座建设全层次的五个必然性趋势。
科杰科技联合创始人&执行总裁郭振强在DataOps峰会演讲
趋势1:企业数据架构从单一架构走向多架构的融合
现阶段,企业自建数据智能平台以及 Oracle 数仓、MPP 数据库、甚至第三方云数仓对象存储,这些架构可以满足当前应用场景需要。?如何既解决不同数据库的数据统一构建,又能考量到之前建设成果的复用,是横跨在现阶段企业数字化转型升级的统一难题。
首先,不提倡全部企业都选择构建湖仓一体替代原有数据仓库和数据湖;这是因为湖仓一体架构虽然能完成统一的数据存储、加工计算和面向应用端的供给,但是 Lakehouse它不是一个全新架构的替代性产品,无法解决企业进行架构升级带来数据迁移的巨大成本和原有架构效能持续发挥,所以并不提倡以新的引擎彻底换掉现有的Data Warehouse或Data Lake。
其次,企业要接受数据源在一定程度上的分散和割裂,通过多架构融合纳管来实现逻辑层面的统一;即使在数字化转型比较领先的行业,也会面临着云上数据仓库和数据平台整合以及第三方数据的现状问题。企业如果要进行新引擎的搭建,要选择技术领先的Lakehouse引擎,同时接受多物理数据,用逻辑的方式把它进行统一,建立逻辑统一数据仓库,通过产品化的方式提供 Data Virtualization的能力完成数据业务化表达、数据组织和数据共享。
趋势2:数据工程的构建是数字化成功的关键
应对组织里面复杂的数据分析和规模化的数据应用,企业数据工程构建应该比软件工程优先度高。对于整个组织而言,数据工程构建是企业数字化转型成功的关键,企业需要建立软件工程平台化体系,让数据管理和数据应用事半功倍。通过数据工程体系,数据由单点的、零散的、组合式的使用数据技术转为大规模工程化协同、产品化降低门槛面向广泛IT技术人员和半IT半技术人员赋能。由此可见,数据技术走向企业的中心和工程化,是IT到DT的转型和工程化提效的问题。
趋势3:建立数据治理与数据工程相融合的自治理系统
在过去,数据治理是以专项项目的方式推进数据的集中管理和管控,是被动且滞后的管控形式,跟集团的业务割裂和研发脱节。在实际业务中,数据治理应该是主动、实时以及自适应的完成治理,以数据治理和数据价值发挥为业务目标,敏捷地在业务上高效取得价值,这是一个持续且日常的行为,贯穿数据全生命周期。所以数据治理应该由传统被动且滞后的模式升级为主动且实时与数据工程相融合的新型数据治理。
趋势4:构建IT集中式管治与业务分散式赋能的混合体系
企业如何平衡更多的业务部门获取数据、分析数据与集团提供基础设施和数据资产管理的平衡性,进一步达成数据驱动型组织的问题?这就需要新的平台提供逻辑统一数仓和高度的数据虚拟化的能力,将数据进行业务转化和表达,面向业务进行开放赋能,将从过去的、被动的、单一支撑性的协作关系,走向数据和数据工具面向业务主动赋能和协作的方式。
趋势5:构建整体数据驱动型组织的达成
在四个趋势建设的基础上,在架构引擎端,实现逻辑层面的统一纳管,形成统一的逻辑数据仓库;在平台层面进行数据工程化建设,提高数据应用数据项目的研发效率;在数据治理层面与数据工程紧密融合实现自适应数据治理能力;在数据业务表达层面,通过指标、标签、门户和资产进一步业务链接,最后以统一的workspace,由不同的职能从CDO体系里面建设不同的职能单位和角色人员,将数据的技术、开发、管理、发布和业务的协同进行一套体系化的运作方式,夯实大型组织的大数据底座能力,以数据能力的方式赋能到更多业务组织,以实现组织性的开放赋能和持续性的价值运营,最终达成数据驱动型组织的整体愿景。
基于DataOps理念,构建企业级数据能力体系
科杰科技基于DataOps理念打造支撑企业内外部业务统一的科杰魔方体,提升企业整体数据质量,增强管理者洞察力;多维度、深层次盘活企业数据资产,改善整体底层架构,提升数据对业务的支撑创新,最终赋能企业数字化转型,全面支撑企业数字化战略。以数字化转型为重要抓手,以数据为中心,基于DataOps为理念,通过“构建数据基础底座、建立数据管理体系、实践落实关键路径”三大关键举措、一个可持续数据运营体系,构建数据底座“多架构融合能力、数据工程能力、数据自治理能力、数据资产业务表达能力”四大关键能力,实现组织“创新赋能、持续运营、协同共享、汇聚统一”四大核心价值,促进组织开放赋能和持续价值运营。
科杰科技成为首批DataOps产品创新实验室单位之一
科杰科技在大数据领域深耕多年,将领先的技术与复杂场景相融合,自主研发的分布式计算引擎具备很好的扩展性和容错性,同时,科杰科技在DataOps(数据工程化能力)上做了长期的技术投入,产品提供数据开发、持续交付、智能调度、主动治理等数据开发与数据治理一体化平台级能力,自主研发KeenADC、KeenKG等Data Fabric技术引擎应用于公司数据资产目录产品Keen Asset,基于网格编排的思想设计数据走向,融合了分布式领域驱动的架构(Distributed Domain Driven Architecture)、自助平台设计(Self-serve Platform Design)以及将数据视为产品(Data as a Product)的理念,领先的湖仓一体技术架构充分融合数据湖和数据仓库各自优势,实现一套数据、一套任务在湖和仓之上无缝调度和管理。
科杰科技基于DataOps理念国际客户服务实践
某亚洲领先的跨国综合零售及服务企业集团。其集团旗下包括 500?多家成员公司,广泛活跃于综合零售、食品超市、医药、专卖店、Developer、服务、综合金融海外等事业领域,目前数仓无论是算力、还是智能业条场景的支撑,都无法满是当前运营要求。
根据集团层面的数据管理整体规划,该集团在科杰科技的帮助下,规划设计了满足未来 5-10?年的数据能力建设蓝图,建立集团层面的数据平台,对接集团前后端核心业务系统,通过数据中台汇集业务板块数据,进行数据打通和标准化,形成数据资产,基于技术和大数据能力为业务和数据开发团队提供可复用的数据服务和能力,降低重复建设、减少烟囱式协作的成本,打造一个数字化转型数据可持续运营管理支撑平台。
在科杰科技的帮助下,该集团进行数据资源统一纳管,高效稳定支撑上层业务开展;通过基础设施统一纳管和灵活的资源调度,提升上层业务稳定性,实现降本增效;统一数据资产体系,为企业数据资产持续开放共享打好基础,打通消费者在 WEB、APP、小程序、门店系统的数据,以及各业务系统会员、门店、电商、供应链、财务等全域数据,进行全链路数据血缘关系数据资产沉淀,并形成公司内统一的数据门户;数据资产服务化运营,实现组织规模化数据协作,实现大规模项目跨团队协同开发的能力;业务和运营人员通过高度可视化的功能实现业务数据自助分析和分发,极大地提升了数据在企业内流转和使用的效率。