当前位置:首页 > 创业圈 > 商学 > 论道 > 正文

企业如何重构数据生产力——数据智能平台从战略到落地

来源:爱分析 发布时间: 2022-03-23 15:58:41 编辑:夕歌

导读:奇点云合伙人兼解决方案总经理远山先生将在爱分析·第四届数据智能高峰论坛上,为大家分享关于数据智能平台建设实践经验的主题演讲。通过总结数据智能平台驱动企业数据资产转化为业务价值的成功案例,解读数据智能平台建设从战略规划到建设使用的正确路径。

过去10年,随着云计算、大数据和人工智能的发展,以往的商业模式被不断颠覆,数据智能成为新的驱动力。而数据应用广度和深度的不断扩展,对数据智能平台也提出了相比传统数据平台更具体和更复杂的要求。奇点云合伙人兼解决方案总经理远山先生将在爱分析·第四届数据智能高峰论坛上,为大家分享关于数据智能平台建设实践经验的主题演讲。通过总结数据智能平台驱动企业数据资产转化为业务价值的成功案例,解读数据智能平台建设从战略规划到建设使用的正确路径。

数据智能平台作为新一代数据基础设施,应具备4大特点

本次主题演讲远山将基于奇点云以往600+企业客户的数字化转型实践,为观众介绍数据智能平台建设的正确路径与真实落地案例。爱分析认为,数据基础设施已经历过三个阶段:数据库、数据仓库、大数据平台,而在2019年之后随着数字化转型加快,数据规模持续膨胀,数据应用场景持续扩展,企业需要进行大量面向业务、实时和智能决策的探索式自助式分析,需要处理超大规模的多源异构和实时数据。传统的大数据平台已无法满足这些需求,新一代的数据智能平台正在兴起。

奇点云远山认为,数据智能平台作为新一代数据基础设施,应是一个更规范、可持续支持企业数字化转型的技术平台,核心上需要具备跨云多域、云原生、自主可控和智能化4大特点:

跨云多域:企业需要自己独立的、不依赖于某一朵云的平台,平台可跨云使用,数据可以灵活迁移。并具备分级多域的数据治理体系,应对多主体、多云、多机房、甚至多业务板块的数据安全和合规协同等场景。

云原生:数据智能平台应充分具备CI/CD、存算分离、对象体系、DevOps等云原生能力,实现开发与运维高效协同,最大程度地优化存算资源、降低存算成本。

自主可控:在当下国际政经环境,在数据这样一个敏感的行业内,无论是存算引擎,还是数据集成、组件等方面,自主可控都是很重要的。“开放的,可替换,可迭代,可掌握”是奇点云对自主可控的理解,也是企业验证自主可控的金标准。

智能化:数据智能平台应在数据集成、数据治理、数据算法、数据安全以及运维等方面具备全面的智能化能力,并随着技术的衍生不断加强。比如在数据算法层面,平台应集成丰富、最佳实践的算法能力,通过标准化的调用直接面向业务使用。

远山还指出,未来数据基础设施的发展演进在总体上呈现出以下4个方向:

首先在平台理念上,由于企业面临越来越多的不确定性,以及对成本和效率的考虑,开源、云原生的技术是主流趋势;其次在技术场景上,可能会诞生更细分的组件或技术流派,并向前演进,市面上各种产品也将在不同场景下形成自己的优劣势,因此平台的开放性和兼容性是非常重要的;另外,随着云的充分普及,技术上云、云上数据平台的趋势将更加明显;最后,国产化能力会越来越被重视,无论是存算引擎,还是TP和AP的数据库,都将会迎来全面的国产化。

以下是爱分析与奇点云在论坛召开前的访谈实录

爱分析:远山总您好,请简单介绍下您的从业经历。

远山:我最早在迪卡侬集团,起初从事生产和供应链管理相关工作,后来负责智能零售系统建设的相关工作。在迪卡侬有近10年的从业经历,积累了较多对零售的业务、IT和数据的经验及理解,对零售行业完整的产业链都比较熟悉。

2017年开始在零售技术领域创业。后来还加入过一家AI领域的独角兽公司,持续探索AI和零售场景结合与落地。但最终在2019年加入了奇点云。

经过这些年的探索和认知,我认为在这个AI和大数据技术迅速发展的时代,技术在零售中的应用,很大程度上最终会通过数据智能的价值体现出来。我也希望能够在数据智能领域,持续为泛零售以及更多行业做出探索和贡献。

爱分析:数据智能平台和以往的大数据平台主要有哪些区别?

远山:大数据平台的概念很宽泛。在有了“大数据”之后,几乎同时就有了“大数据平台”的概念。比如,一个企业或组织基于开源的生态,例如hadoop,搭建大数据集群,然后对大数据进行处理加工,最终能产生一些数据服务或数据分析应用,我们都可以把它叫做广义上的大数据平台。

但现在讲的数据智能平台,我们认为它是一个更规范化的平台,它具有规范的数据治理体系、提供高效的数据开发环境和工具、有统一的运维能力和体系化的数据安全能力等。如果没有这些能力,它就无法无法持续地成为企业的基础设施。我们认为数据智能平台有4个重要特点:

1、跨云多域

如果企业要依赖于某一朵云之上的一些组件,就无法称之为企业自己独立的平台,还是会受到一些束缚和阻力。所以我们认为平台需要是独立的、第三方中立的平台。

2、云原生

数据智能平台应该是一个充分具备云原生能力的平台,例如存算分离能力,能最大程度地优化存算资源、利用资源。

3、自主可控

无论是在存算引擎侧,还是数据集成、组件等方面,自主可控都是很重要的。尤其是在现在的国际政经环境下,在数据这样一个敏感的行业内,一个成熟的数据智能平台需要具备独立的自主可控的能力。

4、智能化

我们认为平台应该具备全面的智能化的能力。无论是数据集成、数据研发、数据治理、运维、安全,还是算法开发等场景,平台都会随着技术的衍生不断地加强智能化能力。

比如在数据治理领域,智能化的平台它能够实现在数据标准、合规等各方面的自动检测、识别、校验、告警等;同时,智能的平台应该集成丰富数据算法的能力,把最佳实践的算法直接集成在平台里,并支持标准化的调用,直接体现平台面向业务的智能化;从数据安全层面,包括在事前、事中、事后的自动化和智能化的风险识别、评估和动作应对等;运维层面就是智能化运维的能力。

爱分析:

现在企业搭建数据智能平台时需要重点考虑解决哪些问题?

远山:1、这个问题比较大。我们先考虑一个提纲挈领的问题,企业以什么样的路径去搭建数据平台?是自建,还是第三方的成熟产品?是用和某云绑定的产品,还是一个独立第三方的产品。

在第一个问题的选择上,我们认为大多数企业选择一个成熟的第三方产品是比较重要的。因为自己研发搭建耗时耗力,而企业自身较为有限的资源在平台长期技术迭代中大概率会遭遇瓶颈(当然这和企业要培养自己的数据团队是不矛盾的),并且自建平台后期的运维成本也非常高。

而第二个问题,如果选择和云厂商紧密绑定的产品,未来可能会面临数据难以迁移、风险和成本不可控、或者多云环境下无法进行数据资产统一管理等问题。

所以我们认为一个独立第三方的成熟产品,是目前大多数企业应该最优先考虑的方向。

2、我们需要考虑,数据平台的建设是出于什么样的背景、目的和诉求?这会影响到建设的周期、预算、节奏,并最终是否能像我们预想的一样获得成功。

落地方式典型有两类。一类是自上而下的建设,也就是结合企业数据和业务长期战略需求来考虑从企业长期、整体的数据能力提升、和构建全面数据资产为目标,那么需要一个基础能力比较完整的平台。前期搭建时,要做好全面的数据集成、数据治理的基础工作。这类方式强调的是“全面”和“打好基础”。

另一类是自下而上的建设,可能是基于某些具体业务场景或业务板块的需求去拉动的。这种情况,我们就要基于场景判断需要用哪些数据,然后以“以用带通”、“以用带存”的方式,逐步拉通全局的数据。这种情况下更多是用“小步快跑”的方式搭建。

3、要考虑平台的技术选型。比如是否云原生、是否开源、是否具有高兼容能力、技术功能是否满足当前需求、产品迭代力是否够强,数据安全是否能得到保障等。但同时我们也希望客户不要陷入“技术自嗨”的陷阱,要平衡好现实需求和未来需求的关系,否则可能产生“不经济”的选择,得不偿失。

爱分析:您对数据基础设施的演进方向有何看法?

远山:1、在技术上,开源的、云原生的技术,一定是主流的趋势。因为企业面临越来越多的不确定性。而且数据量大了之后,会越来越考虑成本和效率。

2、在场景上,更加细分的技术场景中可能会诞生更细分的组件或技术流派,并向前演进。比如机器学习领域或分析型数据库等,市面上各种产品其实在不同场景下会有自己的优劣势。因此平台的开放性和兼容性是非常重要的。另外,随着半结构、非结构化数据的快速增长,湖仓一体应该是一个比较明确的发展趋势。

3、随着云的充分普及,国外已经有云数仓的诞生。而国内的情况,伴随着云的普及和技术的深入,技术上云、云上数据平台也会是一个趋势。我们认为,从现在比较多的私有化部署,到未来SaaS化的服务,是一个比较明显的趋势。

最后,国产化的能力会越来越被重视,包括存算引擎、TP和AP的数据库,会全面的国产化。