某客户是集团实施“跨地区、跨行业”发展战略的标志性企业,主营业务涵盖高中档塑钢及铝合金型材、SCR脱硝催化剂、太阳能光伏材料、精密模具、门窗、生态板材等节能环保产品的生产、销售和科研开发,在国内外拥有20余家子公司,分布13个省市和泰国、缅甸2个境外国家,连续4年进入世界500强。
随着集团信息化的快速发展,某客户为了拥抱数字化转型为企业带来红利,同时解决传统数据体系带来的各种遗留问题,如现有架构出现瓶颈,面对海量数据存储,高并发访问,传统技术架构性能差,水平扩展难度大;传统数据库无法支持海量数据处理,数据标准化和体系化能力欠缺等问题,迫切需要开展全新的数据能力体系建设。
基于此,科杰科技携手某客户,重新梳理数据主题、定义数据模型,并构建了集数据开发管理、数据资产目录、数据服务平台等为一体的数据开发、管理、数据资产沉淀以及数据服务能力体系,以统一的湖仓一体数据智能平台KeenData Lakehouse提供数据集成、数据标注、数据算法、数据分析、数据治理等一站式数据底座能力,将领先的大数据产品与行业Know-How深度融合,打造的一站式数据解决方案,应对某客户复杂的数据场景与精细化的业务运营。
数据混乱,数据孤岛问题凸显
随着信息化的发展,某客户的数据信息也朝向无纸化、智能化发展。据了解,某客户内部合同、销售、生产、物流、库存数据信息均有特定业务开发的独立系统,在业务实际需求的过程中,单个系统处理数据无法满足业务需求,而且数据孤岛较多,数据驱动能力薄弱,例如查询一个订单流程信息需要多个业务系统,传统的数据库没有办法实现跨系统处理,造成数据管理难、开发难、使用更难。
此外,根据需求调研,某客户产品市场需求个性化趋势明显,大多数以定制化方式生产,难以做到连续生产,既浪费人力,又浪费资源成本,订单量大,而且透明度不高,产销对接存在一定矛盾,影响交货期。现有直营店对某客户系列产品进行展示,顾客可以参观选用,但场景体验不强,亟需一站式、全链路、全可视化的大数据基础平台以及规范易用的数据资产体系,提高数据的透明度,挖掘数据价值,用数据赋能业务发展。
三大举措,筑牢企业级数据底座
基于以上需求了解,科杰科技通过多年的大数据综合实施经验,总结出了一套通用的大数据实施方法论并基于这套方法论构建统一、规范、可共享的全域数据体系,帮助某客户建立完善的信息化解决方案,全面支撑某客户业务发展,规范作业流程、提高工作效率,减少重复劳动,保障数据的准确性。
科杰科技以数据为中心,基于DataOps为理念,通过三大关键举措、一个可持续数据运营体系,搭建某客户统一的数据基础平台,构建企业级数据能力,促进组织开放赋能和持续价值运营,基于数据底座平台 KeenData Lakehouse,在贯穿全流程工程化能力的同时提供全局统一数据标准、数据质量、主数据管理、元数据管理以及数据安全的全方面数据治理能力,进行全域数据资产统一采集存储、全域数据资产分层设计、全域数据资产管理。
01全域数据资产统一采集存储
数据同步中心是全域数据的汇集之地,把分散在企业各个管理系统,生产系统,以及信息互联网的数据采集到数据中心,用于构建公共数据中心。主要采集数据源为内部数据的业务数据与日志数据,以及互联网的外部数据等,采集的方式分为离线采集,实时采集,增量采集,全量采集,以及文件采集。
02全域数据资产分层设计
科杰科技全域数据体系分层理念:总体分为四层,原始数据层(ODS)尽可能的保持全量原始数据,公共数据层(DWD)保存统一标准的业务事实明细数据,公共汇总层(ODM)保存以对象为核心主体的全域主题数据,应用数据层(APP)则保存面向数据应用的业务定制数据。
03全域数据资产开放共享
数据资产管理的职能主要包含数据标准管理、数据质量管理、元数据管理、数据标签管理、数据生命周期管理、数据安全管理、主数据管理、数据模型管理、数据价值管理,形成九个数据资产管理职能域。数据资产目录产品是科杰科技湖仓一体数据底座KeenData Lakehouse体系中最重要的组成部分,是一套数据可视化的数据管理运营工具,实现复杂的数据资产运维简单化,通过四种服务模式对外提供数据服务能力:数据接口(API Service)、数据集市服务、数据推送服务、JDBC服务。
数据赋能,效率更高服务更优
基于科杰科技湖仓一体数据底座KeenData Lakehouse构建一站式的数据开发管理平台,获得某客户高度认可,在科杰科技湖仓一体数据底座赋能下,重新梳理数据主题、定义数据模型,并构建了集数据开发管理、数据资产目录、数据服务平台等为一体的数据开发、管理、数据资产沉淀以及数据服务能力体系。
科杰科技湖仓一体数据底座为某客户建设的产品包括:数据开发管理平台、数据资产目录、数据服务平台、DataBox。通过数据开发管理平台将CRM、WMS、TMS、ERP、SRM 系统数据导入到数据中台,发布调度任务,解决数据孤岛问题,实现订单全流程信息查询有合同、销售、生产、物流、库存等不同的业务系统,将各个业务系统的数据库导入到大数据平台,通过数据中台对数据加工、过滤,清洗,实现跨系统处理。数据经过处理后,通过数据服务平台提供API访问接口,输入订单号可以查询到订单在各个阶段的信息。
在科杰科技的帮助下?,某客户充分挖掘数据价值,提升“用数”能力,构建多维立体的分析场景,赋能业务决策。科杰科技自成立以来,让数据高效发挥价值为使命,致力于自主可控的大数据底座产品研发与应用,基于云原生、低代码、一站式湖仓一体数据智能平台 KeenData Lakehouse,携手生态伙伴为工业、制造、能源、金融、政府等行业数字化转型提供高效、稳定、可靠的产品与解决方案,打造了中国联通、中国石化、中国一汽、国家电网、中国人寿、中国航天、三一重工、上汽集团、泰康、吉利汽车、中金公司等典型的数字化变革范本,未来,科杰科技将用自主可控的领先技术与丰富的数字化实践经验,赋能更多行业用户实现数字化转型升级,为企业客户提供安全稳定、自主可控的大数据基础平台。