大数据计算服务MaxCompute_Hadoop_PB级云数据仓库服务_大数据-阿里云

大数据计算服务 MaxCompute
播放视频
MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。

产品优势

简单、易用
面向数仓优化高性能存储、计算;多服务预集成、标准SQL开发简单;内建完善的管理和安全能力;免运维,按量付费、不用不花钱。
匹配业务发展的弹性扩展
存储和计算独立扩展,动态扩缩容,按需弹性,无需提前容量规划,满足突发业务增长。
支持多种分析场景
支持开放数据生态,以统一平台满足数据仓库、BI、近实时分析、数据湖分析、机器学习等多种场景需要。
开放的平台
支持开放接口和生态,为数据、应用迁移、二次开发提供灵活性;支持与AirFlow、Tableau等开源和商业产品灵活组合,构建丰富的数据应用。

产品功能

全托管的 Serverless 在线服务对外以API方式访问的在线服务,开箱即用;预铺设的大规模集群资源,近乎无限资源,按需使用和付费;无需平台运维,最小化运维投入。
弹性能力与扩展性存储和计算独立扩展,支持企业将全部数据资产在一个平台上进行联动分析,消除数据孤岛;实时根据业务峰谷变化来分配资源。
统一丰富的计算和存储能力多计算模型(MR,DAG,SQL,ML)和丰富的UDF,采用列压缩存储格式,通常情况下具备5倍压缩能力,大幅节省存储成本。
与 DataWorks 原生集成一站式数据开发与治理平台DataWorks,可实现全域数据汇聚、融合加工和治理,支持对MaxCompute项目进行管理以及web端查询编辑。
集成 AI 能力与机器学习平台PAI无缝集成,提供强大的机器学习处理能力;用户可使用熟悉的Spark-ML开展智能分析;使用Python机器学习三方库。
深度集成 Spark 引擎内建Apache Spark引擎,提供完整的Spark功能;与MaxCompute计算资源、数据和权限体系深度集成。
湖仓一体集成对数据湖(OSS或Hadoop HDFS)的访问分析,支持外表映射、Spark直接访问方式开展数据湖分析;在一套数仓服务和用户接口下,实现湖与仓的关联分析。
支持流式采集和近实时分析支持流式数据实时写入并在数据仓库中开展分析;与云上主要流式服务深度集成,轻松接入各种来源流式数据;高性能秒级弹性并发查询,满足近实时分析场景需求。
提供持续的SaaS化云上数据保护为云上企业提供从基础设施、数据中心、网络、供电到平台安全能力,再到用户权限管理、隐私保护等三级超20项安全功能,兼具开源大数据与托管数据库的安全能力。

产品规格

满足企业现实需求的 Serverless 算力方案,兼顾成本与性能的需要。

产品动态

2019-06-28 体验优化
MaxCompute 19年6月文档:SQL新功能介绍、数仓教程、搭建数据分析平台教程等发布
查看详情
2019-07-04 新地域/可用区
大数据计算服务 MaxCompute 西南成都节点正式开服售卖。
查看详情
2019-07-23 新功能
MaxCompute国际Region Spark商业化发布
查看详情
2019-09-01 价格调整
MaxCompute存储降价
查看详情
2019-09-06 新功能
MaxCompute元数据服务Information Schema发布
查看详情
2019-09-30 新功能
MaxCompute数据上传/下载流量接入云监控
查看详情
2019-09-30 新功能
MaxCompute后付费作业消费接入云监控
查看详情
2019-10-28 新功能
支持一次增加或删除多个分区
查看详情
2019-10-28 新功能
支持新运算符
查看详情
2019-10-28 新功能
支持自然连接NATURAL JOIN
查看详情
2019-10-28 新功能
支持指定表的列默认值
查看详情
2019-10-28 新功能
支持LIMIT OFFSET
查看详情
2019-10-28 新功能
新增flag支持只grouy by / order by 字段序号,而不用写字段名
查看详情
2019-10-28 新功能
新增内置函数JSON_TUPLE和EXTRACT
查看详情
2019-10-28 新功能
JOIN与SETOP支持括号指定优先级
查看详情
2019-10-28 新功能
MaxCompute支持分区合并
查看详情
2019-10-28 新功能
MaxCompute支持VPC网络IP白名单设置
查看详情
2019-10-31 新功能
MaxCompute搬站迁移工具MMA
查看详情
2019-11-18 新功能
MaxCompute与Tableau深度集成
查看详情
2019-11-18 新功能
MaxCompute JDBC driver正式发布
查看详情
2019-11-22 新功能
MaxCompute-数据脱敏
查看详情
2019-12-20 新版本/新规格
包年包月新规格—非预留计算资源
查看详情
2019-12-25 新功能
MaxCompute支持使用开源地理空间函数
查看详情
2020-01-03 新功能
开放新数据类型:DATE和CHAR
查看详情
2020-01-03 新功能
新增flag:支持指定作业的 quota 组
查看详情
2020-02-21 新功能
Tunnel upload 支持 overwrite的 ddl 语义
查看详情
2020-02-26 新功能
支持表级别的disable lifecycle
查看详情
2020-02-26 新功能
新增Clone Table命令,支持表的复制
查看详情
2020-02-26 新功能
新增Clone Table命令,支持表的复制
查看详情
2020-02-26 新功能
GROUPING SETS支持复杂CUBE & ROLLUP嵌套
查看详情
2020-02-26 新功能
GROUPING SETS支持复杂CUBE & ROLLUP嵌套
查看详情
2020-02-26 新功能
外表访问OSS支持https
查看详情
2020-02-26 新功能
外表支持 MSCK REPAIR TABLE语法
查看详情
2020-02-26 新功能
外表支持 MSCK REPAIR TABLE语法
查看详情
2020-02-26 新功能
SQL中列名书写错误的智能纠错提示
查看详情
2020-02-26 新功能
Python UDF 支持Python 3
查看详情
2020-02-26 新功能
Python UDF 支持Python 3
查看详情
2020-02-26 新功能
MaxCompute存储格式全面升级AliORC
查看详情
2020-02-26 新功能
MaxCompute存储格式全面升级AliORC
查看详情
2020-03-17 新功能
新增5个内建函数
查看详情
2020-03-17 新功能
新增Load命令,支持OSS/OTS数据导入
查看详情
2020-04-13 新版本/新规格
MaxCompute管家新版发布:更完善的CU资源使用监控、支持历史作业查看、?支持批量作业操作?
查看详情
2020-04-14 新功能
按量付费的单个SQL作业的消费控制
查看详情
2020-04-23 新版本/新规格
Policy支持Grant方式授权
查看详情
2020-05-08 新版本/新规格
MaxCompute迁移工具MMA2.0新版本发布
查看详情
2020-05-12 新功能
MaxCompute审计日志功能(商业化)发布
查看详情
2020-05-22 新功能
大数据计算服务 - MaxCompute支持 PyODPS Python3 节点
查看详情
2020-06-30 体验优化
MaxCompute 创建项目空间需要指定数据类型版本
查看详情
2020-07-01 新功能
MaxCompute备份与恢复功能(公测)发布
查看详情
2020-07-22 新功能
MaxCompute使用包年包月计算资源作业支持优先级功能
查看详情
2020-07-24 新功能
MaxCompute支持SQL语言定义函数
查看详情
2020-07-24 新功能
MaxCompute支持代码嵌入式UDF
查看详情
2020-07-24 新功能
MaxCompute新增APPROX_DISTINCT等内建聚合函数
查看详情
2020-07-24 新功能
Python UDF支持更多数据类型
查看详情
2020-07-28 新功能
MaxCompute 使用包年包月计算资源的Project支持指定SQL任务使用按量付费计算资源
查看详情
2020-07-28 新功能
MaxCompute管家支持对包年包月配额组分时管理
查看详情
2020-07-29 体验优化
MaxCompute新增项目的默认数据类型版本从1.0变更为2.0
查看详情
2020-08-31 新功能
大数据计算服务 - 数据科学功能(Mars商业化)发布
查看详情
2020-08-31 新功能
MaxCompute查询加速(MaxCompute Query Acceleration)公测发布
查看详情
2020-09-01 新功能
MaxCompute备份与恢复功能中国大陆区域(商业化)发布
查看详情
2020-09-10 新功能
MaxCompute作业监控诊断工具Logview功能升级发布
查看详情
2020-09-29 新版本/新规格
MaxCompute改版控制台以改进全托管云数据仓库服务的管理和使用体验
查看详情
2020-10-12 新功能
MaxCompute查询加速(MCQA)商业化发布
查看详情
2020-10-30 新功能
写表支持Zorder by语句
查看详情
2020-10-30 新功能
新增更多内置函数支持
查看详情
2020-10-30 新功能
批量Drop Partition支持条件筛选
查看详情
2020-10-30 新功能
OSS外部表CSV/TSV文件支持GBK编码格式
查看详情
2020-10-30 新功能
MaxCompute支持 sort by 不带 distribute by
查看详情
2020-10-30 新功能
SEMI JOIN支持MAPJOIN Hint
查看详情
2020-11-24 新功能
MaxCompute支持以RAM角色身份访问使用服务
查看详情
2020-11-27 新功能
MaxCompute支持消息队列Kafka版通过Connector持续导入数据
查看详情
2020-12-05 新功能
MaxCompute 查询编辑器支持查询加速提升数据分析能力
查看详情
2020-12-07 新功能
MaxCompute 按量计费SQL支持日累计消费限制
查看详情
2020-12-08 新功能
运行中作业快照Information_Schema.Tasks内测发布
查看详情
2020-12-21 体验优化
新建Project默认提供Information_Schema服务(中国区)发布
查看详情
2020-12-28 新功能
大数据计算服务 - 流式数据写入服务(Streaming Tunnel)公测发布
查看详情
2021-01-10 价格调整
MaxCompute存储服务单价调整
查看详情
2021-01-13 新功能
MaxCompute全量作业管理
查看详情
2021-01-13 新功能
MaxCompute管家支持子账号权限管理
查看详情
2021-02-08 新功能
MaxCompute zOrder排序支持与Distribute by共用
查看详情
2021-02-08 新功能
MaxCompute支持在values表达式中使用非常量表达式
查看详情
2021-02-08 新功能
MaxCompute SQL 支持SkewJoin Hint用于优化join时数据长尾问题
查看详情
2021-02-08 新功能
MaxCompute推出Freeride及Analyze两种优化器元数据收集工具
查看详情
2021-02-08 新功能
MaxCompute 内置函数新增或增强
查看详情
2021-02-08 新功能
MaxCompute SQL array数据类型处理函数新增和增强
查看详情
2021-02-08 新功能
MaxCompute 外表Hive兼容模式支持用户自定义serde类
查看详情
2021-02-08 新功能
MaxCompute 外表OSS写入场景能力增强
查看详情
2021-02-08 新功能
MaxCompute命令行提供关闭表头显示,便于shell调用
查看详情
2021-02-08 新功能
MaxCompute支持云HBase外部表(公测)
查看详情
2021-02-08 新功能
MaxCompute支持RDS外部表(公测)
查看详情
2021-02-08 新功能
MaxCompute外表支持JDBC方式读写MC-Hologres(公测)
查看详情
2021-02-08 新功能
MaxCompute支持Unload语句把数据导出到OSS外部存储
查看详情
2021-02-26 新功能
MaxCompute 湖仓一体功能商业化发布
查看详情
2021-03-12 新功能
MaxCompute管家SQL周期作业持续空输出或持续全表扫描推荐功能发布
查看详情
2021-03-12 新功能
MaxCompute管家作业诊断功能发布
查看详情
2021-03-16 新功能
MaxCompute SQL支持Update/Delete/Merge Into语法 (公测)
查看详情
2021-03-16 新功能
MaxCompute SQL支持From_json/To_json函数
查看详情
2021-03-16 新功能
MaxCompute 外部表支持Snappy、Lzo压缩格式
查看详情
2021-03-16 新功能
MaxCompute Project全量作业或Project全量SQL作业超时监控告警功能发布
查看详情
2021-04-07 新功能
MaxCompute 支持 Dynamic Filter 智能优化功能
查看详情
查看全部日志
阿里云某金融行业客户:“利用阿里云 MaxCompute Migration Assistant (MMA) 与 DataWorks 迁移助手等工具,帮助我们实现了 PB 级数据、 上万张表2周内从云下Hadoop集群迁移上云,并在5个工作日内协助完成了上千核心作业改造。迁移后任务基线提前3小时,性能提升 30%”。 从Hadoop 迁移到 MaxCompute
阿里云某游戏行业客户:“在我们自建集群网络出口极度受限的情况下,阿里云打破了基于网络传输的搬站模式,结合 MMA 在三个工作日内帮助我们完成了数据迁移这一看似不可能的任务,也让我们得到了内部业务方团队的认可”。从其它云迁移到 MaxCompute
阿里云某母婴社区平台客户:“我们迁移的数据量超过了1PB,单表规模超过了80TB。在这样的极端场景下,阿里云 MMA 以三倍于其它工具的性能优势,打消了我们最初的顾虑, 最终高效,稳定,准确地帮我们完成了数据迁移,实现了业务在云上的落地”。从传统数仓迁移到 MaxCompute

应用场景

智能物流
云数据仓库
日志大数据分析
精细化运营
搜索推荐
海量营销数据分析
智能物流
成本低,数据处理时间显著提升 菜鸟智能物流分析引擎是基于搜索架构建设的物流查询平台,日均处理包裹事件几十亿,承载了菜鸟物流数据的大部分处理任务。
能够解决
更低成本的整体硬件资源
现有数据规模的处理需求,整体硬件资源成本下降60%+
更快的全链路处理速度
全量数据处理时间极大被压缩,2亿的记录,端到端只需要3分钟
更高效便捷的数据查询操作
一个系统满足多种场景查询,没有数据冗余,还有查询报错功能
推荐搭配使用
云数据仓库
在云计算、大数据时代,数据仓库的重要性毋庸置疑,其建设也在不断的进化中。某知名新零售客户在横向对比之后,毅然决定基于MaxCompute强大的计算能力进行数据仓库的建设。
能够解决
数据上云
第一阶段通过DataX和Tunnel向MaxCompute同步数据
数据清洗
第二阶段通过内部产品打通在DataWorks进行同步和数据清洗
数据展现
DataWorks进行ETL和OLAP的数据通过Quick BI产出报表
推荐搭配使用
日志大数据分析
某天气信息查询软件客户将日志分析业务从云下Hadoop集群迁移到阿里云MaxCompute后,开发效率提升超过5倍,存储和计算费用节省了70%,更高效的赋能其个性化运营策略。
能够解决
提高工作效率
日志数据全部通过SQL进行分析,工作效率提升了5倍以上
提升存储利用率
整体存储和计算的费用比之前节省70%,性能和稳定性也有提升
降低大数据使用门槛
MaxCompute提供多种开源软件的插件,轻松完成数据上云
推荐搭配使用
精细化运营
某知名电商客户截至目前已经拥有百万级别的用户,积累了大量的数据,如何更好的服务用户并提升客户体验是其进行大数据探索的出发点。
能够解决
提升业务洞察能力
通过MaxCompute计算能力实现了针对百万用户的精细化运营
业务数据化
对业务数据分析能力提升并有效监控,更好的业务赋能
快速响应业务需求
阿里云大数据生态满足新业务数据分析需求的“随机应变”能力
推荐搭配使用
搜索推荐
目前阿里巴巴淘系已能通过平台自助打标后,在报表中做自助即席多维分析,涵盖1000+自定义维度信息,无需开发同学额外支持,解放人力,减少沟通成本。
能够解决
更快速更精准地获取用户数据
无需更改blink作业,整体链路1小时内完成维表数据切换
更快的查询响应
数据量大,资源有限,数据生产基本无延迟,且查询秒级内响应
实现数据输出的交互式、个性化、高扩展性
几十亿商品的特征信息仅耗时5分钟完成数据切换
推荐搭配使用
海量营销数据分析
某知名聚合支付客户日交易笔数在百万级别,目前已经积累了海量交易数据。如何对海量数据进行分析与业务创新从而提高用户黏性,亟需搭建安全、可靠、稳定的大数据平台。
能够解决
数据创新
一站式大数据平台同时满足存储、计算、BI和机器学习等功能
快速、高效、低成本
作为互联网创业公司,需尽可能以最低的成本去实现
安全、稳定、可靠
需要严格的数据隐私保护机制,商户的数据只用于自身分析
推荐搭配使用

更多产品与服务

解决方案与最佳实践

小打卡
基于 MaxCompute 构建数仓,在初期只有一名开发人员的情况下,也能快速地搭建起数仓系统,且费用成本极低。
天弘基金
MaxCompute 将原本需要清算8小时的用户交易数据缩短至1个半小时完成,更减少了本地服务器部署压力以及开发人力成本。
玩物得志
玩物得志基于DataWorks + MaxCompute 框架,使用其核心存储、计算等组件快速搭建起自己的大数据平台。
高德地图
MaxCompute为高德带来一键资源扩容能力,使得集群扩容在小时级别内完成,并实现了核心数据“3点产出”的骄人成果。
优酷
优酷从Hadoop迁到MaxCompute后,我们最大的体会是不用半夜起来去维护集群了,之前排几周的需求,现在可以马上跑出来。
友盟+
友盟+将采集的数据与客户数据进行融合,通过与MaxCompute进行云端无缝对接,支持更大力度的开放返还。

文档与工具

http://www.vxiaotou.com