阿里云ODPS重磅升级,打造“为AI而生”的大数据平台

前沿资讯 1753944815更新

0

阿里云宣布,全面升级其自研大数据平台ODPS(Open Data Processing Service)架构,旗下MaxCompute、Hologres、DataWorks等核心产品将全面拥抱AI,迈入“AI Native”时代,加速推进大数据与人工智能的深度融合。

作为阿里云的首款产品,ODPS在过去十五年中不仅支撑了阿里巴巴集团内部电商、金融、物流等核心业务的数据处理需求,还助力数万家国内外企业实现了从线下IDC到云原生的平滑过渡。如今,ODPS通过四大核心升级,进化成为AI而生的数据平台,全面拥抱AI应用的爆发。

1. 超大规模数据处理能力。在AI时代,大模型训练对算力提出了极高要求。ODPS通过云原生架构,实现了数十万台集群的弹性调度,峰值数据处理能力达50亿次/秒。以通义千问训练任务为例,ODPS的即开即用、按量付费模式,有效降低了90%以上的资源成本。

2. 多模态数据存储与计算。随着AI应用的普及,数据逐渐呈现多元化,非结构化数据占比超过80%。ODPS推出湖仓一体方案,支持全模态数据的统一存储。同时,ODPS-MaxCompute发布分布式计算框架MaxFrame,统一Python编程接口,提供高效的分布式计算能力,部分算子性能提升3倍以上,计算、运维成本降低50%。

3. 近实时计算实现极致性价比。ODPS通过增量计算引擎(DLMV)和近线查询(MaxQA),填补了实时与离线之间的空缺。MaxQA引擎在近实时场景下显著减少响应时间,提升数据效率。同时,Flink Uniflow发布流/批/近线一体化数据方案,实现秒级、分钟级甚至小时级的计算范式迁移。

4. AI赋能数据价值变现。ODPS通过AI技术,让数据价值从“人分析数据”升级为“AI直接变现业务价值”。MaxCompute Notebook支持Data+AI一体化数据分析,ODPS-DataWorks Copilot智能助手提供代码自动生成和智能补全服务,数据开发分析平均提效30%。

阿里云ODPS与数据湖构建(DLF、Paimon)、E-MapReduce(Serverless StarRocks/Serverless Spark)、实时计算Flink版等产品,共同构成了覆盖离线、实时、数据湖等多种场景的大数据解决方案矩阵。这些工具和方案根据不同的企业需求彼此组合,为企业提供灵活、高效、可组合的数据基础设施。

目前,ODPS已拥有数十万台集群规模,具备数EB级数据处理能力,是国内最大的数据处理平台。过去15年,ODPS已服务国家电网、小红书、极氪、天弘基金、GoTo等国内外数万家企业,成为推动行业数字化转型的关键力量。

参考资料:ODPS重磅升级!全面支撑AI应用爆发