近年来，人工智能、云计算、大数据为代表的数字技术日新月异，支撑产业数字化发展，深刻影响和改变着人们的生活。同时，不少厂商开始利用云计算平台实现数据技术与人工智能工具的融合，以前所未有的速度和效率挖掘数据价值，赋能每一个行业和领域的智慧化升级。可以说，云数智的快速融合进一步推动了政府和企业的数字化转型进程。

  然而，实现云数智融合绝非易事。从技术发展趋势来看，大数据、机器学习分而治之，数据及技术孤岛制约敏捷迭代。同时，企业也在组织架构层面、人员能力层面、工具支撑层面的问题，使企业数据处理能力不足、分析人员参与度低，进一步制约了数智融合的进程。

  因此，“数智融合”之路该如何走，如何利用“数智融合”助力自身业务发展，又该采用哪些相关解决方案，已经成为横亘在企业面前的难题。近日，亚马逊云科技通过一场大数据与机器学习沟通会，为我们分享了数智融合创新的想法，以及数智融合的相关解决方案。

  “数智融合”助力企业加速云中创新

  众所周知，要做到“数智融合”，离不开大数据技术和机器学习技术两大关键要素。从大数据角度来看，数据作为21世纪重要的生产要素，呈现指数级增长的趋势，并发挥着越来越重要的价值。据福布斯调研报告，如果成为数据驱动型公司，企业收入将增加20%，成本将减少30%，达到降本增效的目标。

  然而，伴随数字化的不断深入，数据的价值却没有得到充分利用。亚马逊云科技大中华区产品部总经理陈晓建表示：“如今，数据逐渐应用到更多的领域，整个应用场景就变得越来越复杂，这些都给大数据的计算提出了非常高的挑战。而且很多企业已经不满足于传统大数据的T+1模式，将数据放在数据仓库里，以天为单位通过大数据运算得到结果，已经满足不了企业的需求，越来越多的企业希望按小时、按分钟级的实时大数据服务。”

  因此，越来越多的企业通过人工智能、机器学习等技术挖掘数据的价值。事实上，发展至今不到10年的时间，人工智能已经呈现出应用深度和广度不断加深的趋势。IDC报告显示，到2023年，AI系统支出将达到979亿美元，比2019年会增加2.5倍，短短4年会有2.5倍的增幅。另外根据Gartner的分析，到2024年，75%的企业将把机器学习技术真正用于生产，为业务所赋能。

  我们不难看出，大数据技术所提供的能力是机器学习建模所需要的必然基础，同时反过头来看，机器学习也能够为大数据技术提供更高的智能，为商业业务产生价值。大数据技术与机器学习的深入融合也将推动企业数字化转型进程。

  亚马逊云科技也认为，在云中实现数据与智能的大融合将成为企业加速创新的引擎，陈晓建解释到：“作为数智融合的代表性技术，机器学习和大数据对企业业务会产生越来越大的作用，越来越多的企业希望能够通过融合大数据和机器学习能力来提供业务产出，以充分发挥数据的价值。”

  走“数智融合”之路，应踏过“荆棘”

  然而，实现“数智融合”并不是一蹴而就的，首先面临的便是大数据与机器学习分而治之的现状。陈晓建解释到：“大数据技术侧重于完成海量数据采集、清洗、查询的能力，往往忽略机器学习算法优化。而随着机器学习的崛起，算法工程师津津乐道的是神经网络结构、超参数优化等，对数据本身采集、处理、优化并不是很看重。”

  如今，越来越多的企业意识到，仅依靠传统的大数据技术是无法全方位提供充足的数据见解，仍需要机器学习的模型能力补充，越来越多的数据项目会融合大数据和机器学习两者的能力。

  另一点是数据处理能力不足。在生产制造企业，机器学习帮助客户对产品售后维修需求进行预测，由被动响应变为主动规划。但由于不具备足够的大数据处理能力，模型开发成功后，不能够有效收集处理海量的运营数据，致使预测不准确，无法达到预期业务目标。这就需要面向大数据技术和机器学习构建统一的开发平台和技术基础。

  最后是分析人员参与度低。现实情况往往是，模型在实验环节效果良好，但实际使用中却不尽人意，实验环境只是对真实环境的简单模拟，生产环境要复杂得多。因此，企业需要从组织架构层面，将原来分散在各个部门的机器学习实践进行整合，并与大数据项目进行统一协调和资源配置。

  而在人员能力层面，则要求和安排原有传统的大数据实践者掌握机器学习技术，应用到大数据具体项目或承接新的机器学习相关的项目需求，要求机器学习从业者也要掌握大数据处理能力，更好、更便捷地完成模型所需的数据准备和加工。

  陈晓建指出，解决数据分析和机器学习融合面临的问题，将有助于企业更高效地围绕数据构建和实施项目，使得数据在两者之间无缝流转，成员快速具备相关能力，推动公司企业数字化转型迈向新的高度。

  “数智融合”之路，到底该怎么走？

  为此，企业应在云中打造统一的数据基础底座，实现大数据和机器学习的双剑合璧，为企业发展提供新动力。企业首先需要建立统一融合的治理底座，建立统一融合的治理底座，如数据质量、数据权限、数据开发、数据工作流、可视化。其次，在大数据和机器学习之间建立高效的双向互动，互为支撑，互为因果，形成正向循环。

  陈晓建认为，企业应该建立统一数据共享机制，让数据资产化，打破数据孤岛，进行统一的权限管控，进一步完善权限控制能力，让数据在不同的业务系统之间流转，实现统一开发及流程编排，融合端到端的大数据和机器学习任务，提升整体的开发效率。

  亚马逊云科技大中华区产品部技术专家团队总监王晓野表示：“云中统一的数据治理底座不仅能提升大数据和机器学习的高效融合，还能减少大数据和机器学习重复构建的工作，并且显著降低成本。”亚马逊云科技能帮助客户构建统一的数据治理底座，实现大数据和机器学习的数据共享，数据权限的统一管控，以及两者统一的开发和流程编排。

  这其中，Amazon Lake Formation推出诸多新功能，实现了数据网格跨部门的数据资产共享，以及基于单元格的最细粒度的权限控制机制。Amazon SageMaker Studio可一站式地完成数据开发、模型开发及相关的生产任务，该服务基于多种专门构建的服务，如交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce(Amazon EMR)、云数据仓库服务Amazon Redshift、Amazon SageMaker等，为大数据和机器学习提供统一的开发平台。

  机器学习项目成功的关键是对复杂的数据进行加工和准备。亚马逊云科技提供多种灵活可扩展、专门构建的大数据服务，帮助客户进行复杂的数据加工及处理，应对数据规模的动态变化，优化数据质量。其中，Amazon Athena能够对支持多种开源框架的大数据平台，包括Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源，对这些数据源进行联邦查询，快速完成机器学习建模的数据加工。

  以Amazon Redshift、Amazon Managed Streaming for Apache Kafka (Amazon MSK)和 Amazon EMR 为代表的无服务器分析能力，可以让客户无需配置、扩展或管理底层基础设施，即可轻松地处理任何规模的数据，为机器学习项目提供兼具性能和成本效益的特征数据准备。

  亚马逊云科技还不断提供更加智能的数据分析服务，赋能业务人员进行智能分析、模型效果验证以及自主式创新。例如，在日常分析工具中集成机器学习模型预测能力，其中深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight 、在分析结果中添加基于模型预测的Amazon Athena ML，可帮助用户使用熟悉的技术，甚至通过自然语言来使用机器学习。

  亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务，让业务人员探索机器学习建模。

  写在最后

  随着数字化转型的深入，在云中实现大数据与机器学习融合的实践路径，为大数据和机器学习打破数据及技能孤岛，机器学习由实验转为实践，赋能业务人员探索创新，提供新的解决方案。除了借助“云、数、智三位一体”服务组合优势，亚马逊云科技还将坚持授人以渔的准则，通过不同分工的专家，和客户肩并肩一起，帮助客户探索机器学习与大数据融合挑战时，共同去学习优秀的企业在数据驱动转型成功路上宝贵的经验。