国内外数据智能技术发展趋势

2022年，据Gartner调查，500家民营企业政府机构的IT从业者共同对100 数项控制技术的采用计划、市场预期商业价值和风险试验显示：由于民营企业政府机构复产电解铝并谋求技术创新机会，其经营已经开始向以顾客为中心的销售业务营运模式转变，民营企业已经开始实施维护和强化原有的统计网络系统基础建设，布署具备高度革命性的新兴控制技术，透过改良、精简、进一步增强大统计数据网络平台，人工智慧化、智能化化等控制技术，破冰“统计数据驱动力”战略，应对日益普遍的技术创新和不稳定性与竞争，进一步增强商品新体验、降低生产成本、强化营运销售业务流程，扩大顾客覆盖面。在此背景下，市场预期2023年大统计数据与智能化控制技术趋势如下表所示：

当代统计数据栈、统计数据织成和统计数据操作方式销售业务流程智能化化等当代统计数据处理方式走进现实

当代统计数据栈（MDS）是一类捷伊统计数据资源整合方式和销售业务流程，透过如前所述用户端的统计数据传达、管理组织工作和预测统计数据的辅助工具和控制技术，满足用户民营企业网络平台功能强大性、生产成本与可用性市场需求。统计数据资源整合销售业务流程从ETL转变成更高效率的ELT，统计数据切换更多地采用Python和SQL撰写统计数据操作方式；数据储存与处理更集中到K480N仓中，采用捷伊商品管理组织工作统计数据栈中的统计数据，采用云上更加功能强大的预测辅助工具，帮助顾客著眼于更高商业价值的预测和统计数据科学组织工作。相比传统统计数据栈，当代统计数据栈降低了统计数据资源整合的控制技术心理障碍、促进了生产成本节省，进一步增强了网络平台的可扩充性，扩充性、可用性和可出访性，以满足用户民营企业不断扩张的销售业务市场需求。代表供应商如：Fivetran、Airbyte、Stitch、DBT、Big Query、Snowflake、SecuPi、StarRocks。

统计数据织成（Data Fabric）指“包含统计数据和相连的软件系统层，透过对原有的、可发现的和由此可知的元统计数据资产展开持续预测，来支持统计数据挖掘跨网络平台的结构设计、布署和采用，从而实现灵巧的统计数据交货”。统计数据织成提供了一类大统计数据预测管理组织工作方式论，可以在更广泛的邻近地区云和边缘设备上展开扩充。同时，统计数据织成控制技术还有望改良民营企业内的统计数据采用，减少了70%的结构设计、布署和营运统计数据处理组织工作，精简民营企业对统计数据的采用难度，并且可以与不同的应用系统软件系统资源整合。代表供应商如：Alex、Alation、Atlas、DataHub、Data.world、Neo4j、Cluedin、Tada、Stardog、Denodo、Palantir、IDMC、Glue、Data fusion、阿里云、Creatlink、Vesoft、TigerGraph、Minglamp。

DataOps是一类统计数据处理销售业务流程智能化化方式与实践，是统计数据织成破冰的核心关键。DataOps著眼于改善整个组织中统计数据处理者和统计数据消费者之间的统计数据流通信、软件系统和智能化化。目标是透过创建统计数据、统计数据模型和相关工件的可预测交货和变更管理组织工作，满足用户组织全统计数据生命周期（从生成到归档）的市场需求。DataOps采用敏捷、迭代、综合的方式处理统计数据在组织中流动时的全生命周期，关键能力涵盖统计数据质量保障、监控、智能化化试验与布署、组织工作流编排与智能化化建模等，从而强化或解决统计数据治理、隐私和安全使用问题，在不影响统计数据预测速度和质量的情况下，实现统计数据的持续软件系统、持续交货、持续布署。代表供应商如：Airflow、Atlan、Nexla、Deepexi。

云原生、流批湖仓一体化奠定新一代数字化网络平台基础

目前，云原生容器化控制技术已成为数字化网络平台架构的事实标准，代表控制技术包括不可变基础建设、服务网格、声明式 API 及 Serverless，可帮助民营企业构建弹性可靠、松耦合、易管理组织工作、可观测的应用系统，提供极致的弹性能力、服务自治、故障自愈能力，实现跨区域、跨网络平台甚至跨服务商的规模化复制能力。支持敏捷开发，异构资源标准化，大幅提升交货速度，降低销售业务试错生产成本，高效率响应用户市场需求，进一步增强用户新体验、加速销售业务技术创新。代表供应商有以 AWS、Azure、Google、阿里云、华为云、青云为代表的公有云，以及众多破冰在国内大中型民营企业的私有云，混合云等，此外国内的如 Deepexi、Volcengine、DTstack。

金融、制造、能源、医疗保健、零售等行业的多样性统计数据爆炸式增长，迫使行业思考超越传统统计数据仓库处理信息的手段，如前所述云原生容器化环境，支持统一储存，流、批统计数据处理、统计数据预测、统计数据科学等多组织工作负载的湖仓一体走上前台，帮助顾客推动工艺强化，精细化营运，营销获客、风险防控，从而更好地吸引和留住顾客，提高生产力和营运效率。据报告，破冰统计数据湖的民营企业相比同类公司收入增长高出 9%，如今Amazon S3已成为统计数据湖的典型代表，其它海外供应商还有Databricks、ADLS、CDP，以及国内的Transwarp、Deepexi、Volcengine、柏睿统计数据Rapids LakeHouse等。如前所述智能化算力预测引擎RapidsDB，柏睿统计数据推出高性能、一站式、智能化软件系统的湖仓一体化商品Rapids Lakehouse，打造统一的统计数据软件系统、统计数据湖、统计数据仓库的统计数据处理网络平台，结合AI/ML控制技术，全面发掘统计数据商业价值、提供即时统计数据洞察，帮助顾客提升销售业务能力和行业领导力。

此外，随着5G通信控制技术快速发展，边缘计算控制技术如边缘服务器和边缘网络等控制技术正处于布署阶段，加剧了大统计数据网络平台的统计数据多样性，因其在更接近统计数据生成点的地方迅速预测信息，有助于加快统计数据预测，为用户提供更快的响应。在医疗保健领域，快速扩张的可穿戴设备市场，如Fitbit、Apple Watch和谷歌Android设备，已经开始推动远程医疗和以改善健康为目的的关键患者统计数据处理预测业务的增长。

自然语言处理、机器学习、进一步增强预测等人工智慧化控制技术与应用增长迅速

过去十年来，产业界积累了前所未有的实体和统计数据。在大规模统计数据集和大统计数据计算的支撑下，使得最终训练得到的模型足够复杂，因此人工智慧化，尤其是深度神经网络，在语音识别、图像处理、自然语言处理以及数字化基础建设与多个行业都取得了长足的进步。

智能化控制技术的发展目前还依赖于计算能力的提升，随着统计数据量的增加，单机已经无法满足用户统计数据计算甚至是储存的市场需求，因此分布式储存和计算控制技术迎来了发展。以Hadoop生态为例，实现了分布式储存和分布式计算。建立在Hadoop之上的Hive提供了类似SQL接口的统计数据预测方案，但由于其存在大量磁盘IO，性能常常成为大统计数据计算的瓶颈。而新一代分布式内存计算引擎，如 RapidsDB以性能为突破口，保障了机器学习、音视频识别、NLP 等智能化预测组织工作得以顺利开展。

机器学习能够识别模式和检测大型统计数据集中的异常，支持预测分析和其他高级统计数据预测功能。例如：识别图像、视频和文本统计数据、自动分类统计数据、预测语音和文本、个性化和推荐特征及能够在海量统计数据中预测找到销售业务问题最佳解决方案等，从而提供更智能化的应用，更好地了解顾客行为、销售业务销售业务流程和整体营运。目前，机器学习控制技术已较为成熟。

融合计算机科学、语言学和人工智慧化控制技术的自然语言处理（NLP）控制技术发展迅速，，透过科学编程使其能够准确识别、分析和处理自然语言的信息，透过语料、分词、句法和语义预测等NLP控制技术，采用语法规则从句子中提取重要信息的算法，阅读和解释人类语言。随着民营企业销售业务的不断延伸，如问题回答和知识检索等应用场景，可以采用向量统计数据库储存大规模的知识库，透过将问题和知识库中的内容转化为向量表示，并计算向量之间的相似度，最大限度地减少统计数据检索所需的时间，系统可以更快地响应并提供更好的用户新体验。

人工智慧化是指使计算机能够预测统计数据、提出建议，执行查看、理解和翻译口语和书面语言等高级预测能力的控制技术，从与统计数据库商品能力结合方面，可透过 AI 作代价预估与监督学习实现统计数据库引擎动态强化，加速统计数据库查询性能，透过定义捷伊函数和统计数据类型SQL，实现统计数据库内的人工智慧化模型训练和推理。从统计数据应用角度，人工智慧化可提纯统计数据、提升多领域的预测决策能力。代表供应商如IBM、AWS、阿里云、百度及Anaconda、Dataiku、Domino、4paradigm、Mericdata、Ishumei。如柏睿统计数据RapidsDB技术创新研发如前所述机器学习的动态查询强化控制技术，目前已获得美国专利。

进一步增强预测（Augmented Analytics）本质上是利用机器学习和人工智慧化控制技术来智能化化或进一步增强与准备统计数据有关的任务——预测统计数据、清理统计数据、加入统计数据，以智能化化围绕生成见解和解释见解的任务;由此，它减轻了如预测师或消费者等销售业务人员必须手动探索统计数据的过程，透过辅助工具即可完全理解所拥有的统计数据，著眼于可视化，识别关键见解；并停止以纯粹定量的方式思考统计数据，从而帮助民营企业更好地了解销售业务发展环境，针对民营企业经营生产成本、效率、风险等问题，找到解决办法。Gartner 认为，进一步增强预测将颠覆目前的统计数据预测模式，代表了统计数据和 BI 能力的第三大浪潮。典型商品包括：Power BI、Tableau、Qlik、Looker、Superset、FineBI。柏睿统计数据已经开始探索将统计数据库和大模型完美结合的应用网络平台，透过微调AI大模型以实现统计数据库智能化化，能够将自然语言切换为统计数据库语句、强化统计数据语句等，进一步提高统计数据可视化预测的效率。

近年来，随着AI的应用逐渐成熟、破冰，产业焦点集中于 AI 大规模快速破冰，布局 MLOps 网络平台或辅助工具的市场需求日益迫切，推动组织数智化转型成为产业界追逐的目标。人工智慧化研发营运体系(MLOps) 作为 AI 工程化重要组成部分，其核心思想是解决 AI 生产过程中团队协作难、管理组织工作乱、交货周期长等问题，最终实现高质量、高效率率、可持续的 AI 生产过程。代表商品包括Amazon SageMaker、Microsoft Azure、Google Cloud Platform、 DataRobot、Algorithmia、Kubeflow、MLflow。柏睿统计数据作为著眼于统计数据的公司，提供以统计数据为中心的柏睿统计数据智能化网络平台Rapids AI，Rapids AI具备包括统计数据加载、统计数据质量诊断、统计数据特征管理组织工作、特征工程、模型训练、模型评估、模型布署在内的人工智慧化开发全生命周期能力。

统计数据民主化、统计数据云与统计数据资产化拓展社会与商业商业价值

统计数据民主化（Data Democratization）在于使组织的所有成员都能轻松地应用统计数据开展应用预测，实现更精准决策和更好的顾客新体验。透过统计数据民主化，非控制技术用户也可以在没有统计数据处理员、系统管理组织工作员或IT人员的帮助下收集和预测统计数据。透过对统计数据的即时出访和理解，销售业务团队可以更快地做出决策。民主化的统计数据环境是管理组织工作大统计数据和实现其潜力的重要方面，那些为员工配备正确辅助工具和理解能力的民营企业，能够更好地做出决策。

统计数据云（Data Cloud）在狭义是指以云计算为网络平台，可面向全球顾客和个人提供大统计数据与智能化统计数据处理、统计数据应用与统计数据服务的基础建设，当前，以统计数据云为依托，向更广泛的顾客群提供统计数据智能化控制技术，融汇互通统计数据商业价值，成为统计数据智能化垂类供应商的新机遇。如：京东统计数据点聚焦统计数据云行业统计网络系统的可持续性，混合云和多云管理组织工作、降低网络威胁风险，以及如何面对即将到来的能源危机，亚太地区、中东和非洲统计数据投资与驱动力等议题。

同时，以统计数据云控制技术与网络平台为基础的统计数据资产化（Data capitalization）已经开始兴起，旨在透过统计数据市场、统计数据交易发挥放大统计数据商业价值：以Snowflake为例，民营企业在独立架构基础上，为顾客提供全场景全生态的在线统计数据仓库、统计数据科学、统计数据应用与统计数据市场，其统计数据市场汇聚了全球200多家统计数据提供商和服务提供商，提供了近千种统计数据集、民营企业市值高达 700 亿美元，成为全球炙手可热的数字化品牌。在国内，国家基础学科公共科学统计网络系统已可提供VLBI月球与深空探测统计数据等 24个主题库，在线服务统计数据总量 2.29 PB；2022 年，“人民云”面向全社会提供统计数据储存、统计数据运用、统计数据交易、人员培训；深圳、上海两地已经开始大力推进统计数据权属界定、开放共享、交易流通等标准指定和系统建设，加快培育统计数据要素市场。

总结与展望

综合来看，统计数据智能化类控制技术在今天已取得突破性进展，随着新材料、能源、通信控制技术的快速演进，未来5 年，预计依托算力、统计数据、算法的统计数据智能化控制技术将出现更具想象力的变革与技术创新。从地域看，在理论体系、统计数据科学、控制技术核心、销售业务技术创新与开放方面，仍然以西方国家为主，而在控制技术应用、商业价值变现、产业数字化与社会治理方面，我国走在前列；两者有巨大合作的空间，但也需要不断弥补其中存在的差距。

参考内容

1. Gartner | Delivering Actionable, Objective Insight to Executives and Their Teams

2. Purchase Intent Data for Enterprise Tech Sales and Marketing – TechTarget

3. Data Fabric: What is it and Why Do You Need it? | Striim