2023年8月11日,由中国通信工业协会平台经济创新专委会、中国技术市场协会产业融合工作委员会、对外经济贸易大学中国国际品牌战略研究中心联合主办的2023平台经济高质量发展和数据治理论坛在京隆重召开,科杰科技联合创始人&副总裁郭振强出席本次会议,并发表《筑牢大数据底座?赋能高质量发展—基于DataOps理念构建金融机构新一代数据基础设施》主题演讲。
金融行业数字化转型背景
云计算、大数据、人工智能、区块链、5G等技术快速发展,数字经济正在成为重组全球要素资源、重塑全球经济组织结构、改变全球竞争格局的新关键力量。做强做优做大数字经济,推动数字中国建设迈上新的台阶,是构筑国家竞争新优势的有力支撑,企业需要把握好新一轮数字革命和产业变革发展机遇期。
数字化转型方面,最近几年国家围绕着数据和数据领域方面推出了各种落地的政策,《数字中国建设整体布局规划》更是明确数字中国建设“2522”整体框架,即夯实数字基础设施和数据资源体系“两大基础”。整个数字化转型是以数据在业务终端以及业务一线实现全场景的数据智能为最终的效果和价值体现。企业要充分认识到,数字化转型是推动经济发展的核心动能。
在数字化转型当中的新一代信息技术,数据技术是整体信息化技术里面最核心的引擎。
那么结合金融机构数字化转型的现状,金融企业如何进一步融合现状构建或升级到新一代数据基础设施呢?
架构引擎端:基于业务发展建设了一系列的数据架构,带来的问题是多架构并存,管理成本、运维成本、存储成本等提升,有些还涉及国产信创建设;
数据工程端:单点上建设了很多工具,但缺少体系化的串联,围绕低代码、多团队协同、融合数据管理和运营的建设有待进一步提升;
数据资产管理端:有了数据资产的初步呈现,但是资产层面无法统一呈现,如何实现不同数据架构不同应用的数据资产进行统一管理,实现统一的数据资产管理体系;
数据开放赋能价值链接端:常见的报表、大屏可视化等,对于数据赋能供给业务侧的链接,数据虚拟化有待进一步增强,包括融合组织,融合业务的呈现。
科杰科技融合DataOps理念构建金融机构新一代数据底座能力
科杰科技基于对金融机构数字化转型遇到的问题,对技术和产品的创新和多年的最佳实践落地,以及对行业的敏锐洞察和对DataOps理念的深入理解和融合实践,总结出来金融新一代数据基础设施所必备的五个核心能力,且科杰科技对应的产品和技术方案全覆盖。
趋势1:企业数据架构从单一架构走向多架构的融合
现阶段,企业自建数据智能平台以及 Oracle 数仓、MPP 数据库、甚至第三方云数仓对象存储,这些架构可以满足当前应用场景需要。如何既解决不同数据库的数据统一构建,又能考量到之前建设成果的复用,是横跨在现阶段企业数字化转型升级的统一难题。
首先,不提倡全部企业都选择构建湖仓一体替代原有数据仓库和数据湖;这是因为湖仓一体架构虽然能完成统一的数据存储、加工计算和面向应用端的供给,但是 Lakehouse它不是一个全新架构的替代性产品,无法解决企业进行架构升级带来数据迁移的巨大成本和原有架构效能持续发挥,所以并不提倡以新的引擎彻底换掉现有的Data Warehouse或Data Lake。
其次,企业要接受数据源在一定程度上的分散和割裂,通过多架构融合纳管来实现逻辑层面的统一;即使在数字化转型比较领先的行业,也会面临着云上数据仓库和数据平台整合以及第三方数据源并存的现状问题。企业如果要进行新引擎的搭建,要选择技术领先的Lakehouse引擎,同时接受多物理数据,用逻辑的方式把它进行统一,建立逻辑统一数据仓库,通过产品化的方式提供 Data Virtualization的能力完成数据业务化表达、数据组织和数据共享。
趋势2:数据工程的构建是数字化成功的关键
应对组织里面复杂的数据分析和规模化的数据应用,企业数据工程构建应该比软件工程优先度高。对于整个组织而言,数据工程构建是企业数字化转型成功的关键,企业需要建立软件工程平台化体系,让数据管理和数据应用事半功倍。通过数据工程体系,数据由单点的、零散的、组合式的使用数据技术转为大规模工程化协同、产品化降低门槛面向广泛IT技术人员和半IT半技术人员赋能。由此可见,数据技术走向企业的中心和工程化,是IT到DT的转型和工程化提效的问题。
趋势3:建立数据治理与数据工程相融合的自治理系统
在过去,数据治理是以专项项目的方式推进数据的集中管理和管控,是被动且滞后的管控形式,跟集团的业务割裂和研发脱节。在实际业务中,数据治理应该是主动、实时以及自适应的完成治理,以数据治理和数据价值发挥为业务目标,敏捷地在业务上高效取得价值,这是一个持续且日常的行为,贯穿数据全生命周期。所以数据治理应该由传统被动且滞后的模式升级为主动且实时与数据工程相融合的新型数据治理。
趋势4:构建IT集中式管治与业务分散式赋能的混合体系
企业如何平衡更多的业务部门获取数据、分析数据与集团提供基础设施和数据资产管理的平衡性,进一步达成数据驱动型组织的问题?这就需要新的平台提供逻辑统一数仓和高度的数据虚拟化的能力,将数据进行业务转化和表达,面向业务进行开放赋能,将从过去的、被动的、单一支撑性的协作关系,走向数据和数据工具面向业务主动赋能和协作的方式。
趋势5:构建整体数据驱动型组织的达成
在四个趋势建设的基础上,在架构引擎端,实现逻辑层面的统一纳管,形成统一的逻辑数据仓库;在平台层面进行数据工程化建设,提高数据应用数据项目的研发效率;在数据治理层面与数据工程紧密融合实现自适应数据治理能力;在数据业务表达层面,通过指标、标签、门户和资产进一步业务链接,最后以统一的workspace,由不同的职能从CDO体系里面建设不同的职能单位和角色人员,将数据的技术、开发、管理、发布和业务的协同进行一套体系化的运作方式,夯实大型组织的大数据底座能力,以数据能力的方式赋能到更多业务组织,以实现组织性的开放赋能和持续性的价值运营,最终达成数据驱动型组织的整体愿景。
数据底座能力实践落地
作为国内领先的大数据基础软件服务商,科杰科技经过多年耕耘,为客户提供覆盖数据采集、数据存储、数据处理、数据传输、数据交换等数据全生命周期产品,为数据资产化提供数据底座能力,打造了中金公司、贵阳银行、银华基金、国银控股、曲靖商业银行等一批金融行业数字化典型案例。
科杰科技领跑国产大数据基础软件市场,爱分析发布的《2022年中国湖仓一体平台软件市场份额》报告,科杰科技位居NO.1,IDC发布《中国大数据平台市场份额,2022》研究报告,科杰科技成功跻身中国大数据平台私有化部署市场TOP5厂商,先后入选Gartner《2023年中国数据、分析及人工智能技术成熟度曲线》数据中台和可组合D&A代表厂商,Gartner《Demystify Data Middle Office by Nurturing Core D&A Capabilities》数据基础平台代表厂商,实力入选IDC《湖仓一体数据平台技术能力评估报告》推荐代表厂商,接连参编信通院《数据中台实践指南(1.0版)》、《DataOps实践指南(1.0)》、《湖仓一体技术与产业研究报告(2023年)》等。
数字化时代到来,数据技术是新一代金融科技中服务数字金融的核心引擎,科杰科技将继续在大数据技术方面持续创新,为数字中国建设提供坚实的数据底座保障,护航金融业数字经济高速发展。