在网站中添加百度地图,wordpress公众号涨粉插件,网站栏目功能,自动化设计网站建设摘要#xff1a; MaxCompute#xff08;原ODPS#xff09;是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用#xff0c;支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外#xff0c;也致力于提升SQL语言的用户体验和表达能力…摘要 MaxCompute原ODPS是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外也致力于提升SQL语言的用户体验和表达能力提高广大ODPS开发者的生产力。
点此查看原文
MaxCompute原ODPS是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用支撑了多个BU的核心业务。 MaxCompute除了持续优化性能外也致力于提升SQL语言的用户体验和表达能力提高广大ODPS开发者的生产力。
MaxCompute基于ODPS2.0新一代的SQL引擎显著提升了SQL语言编译过程的易用性与语言的表达能力。我们在此推出MaxCompute(ODPS2.0)重装上阵系列文章
第一弹 - 善用MaxCompute编译器的错误和警告 第二弹 - 新的基本数据类型与内建函数 第三弹 - 复杂类型 第四弹 - CTEVALUESSEMIJOIN
上次向您介绍了 新的基本数据类型与内建函数,这次向您介绍复杂数据类型
原ODPS也支持两种复杂类型ARRAY, MAP但是有些场景下还是不够用
场景1 我的项目里生成的一个中间表为了优化性能里面有一列最好是个数组因为如果把数组打散每行上存一个元素会因为其他列的重复导致数据量爆炸。首先想从上游表中生成这个数组搜索半天文档发现唯一的方式是把源数据列先转STRING再用wm_concat聚合再用split函数打散成ARRAY这样原来类型信息丢了不过STRING似乎也能用好继续。后面的运算有个地方需要取数组最后一个元素试图用数组下标配合size函数my_array[size(my_array)], 发现报告错误下标必须是常量可是我的数组不是定长的看看有没有函数能反转数组呢没有最后不得不放弃使用数组。。。 场景2 我的任务是为每个广告生成一个曲线代表随着广告商的出价由低到高预计的impression, click次数的曲线。最自然的表达是有个数据结构里面存着出价impression次数click次数。可是ODPS不支持这样的用法只好encode成一个字符串每次操作先编码再解码。好麻烦效率也很差可是没有办法。。。 MaxCompute采用基于ODPS2.0的SQL引擎大幅度改进了复杂类型并提供了配套的内建函数基本解决了上述问题。
复杂类型的扩充 此文中采用MaxCompute Studio作展示 ( MaxCompute从2.8.0.2版本开始支持复杂类型如果您的版本不够新请升级到最新版本 )。
首先安装MaxCompute Studio导入测试MaxCompute项目创建工程建立一个新的MaxCompute脚本文件, 如下运行后可以在MaxCompute Studio的Project Explorer中找到新创建的表察看表的详细信息并预览数据如下图
可以看到MaxCompute支持ARRAY, MAP, STRUCT类型并且可以任意嵌套使用。
MaxCompute Studio支持含新类型表数据的导入导出可参考此ATA文章
MaxCompute支持的复杂类型见下表 复杂类型构造与操作函数
在UDF中使用复杂类型 原ODPS不支持在UDF中访问任何复杂类型。MaxCompute Java UDF支持所有复杂类型Python UDF也会在不久的将来支持。
JAVA UDF中复杂类型的表示方法 ODPS的UDF分为三大类UDFUDAFUDTF其中
1.UDAF和UDTF通过Resolve annotation来指定sinature在MaxCompute 2.0上线后用户将可以在Resolve annotation中。如 Resolve(“array,struct
Resolve(structa:bigint,string-string)
public class UdfArray extends UDF {public String evaluate(ListString vals, Long len) {return vals.get(len.intValue());}public String evaluate(MapString,String map, String key) {return map.get(key);}public String evaluate(Struct struct, String key) {return struct.getFieldValue(a) key;}
}
用户可以直接将复杂类型传入UDF中
create function my_index as UdfArray using myjar.jar;
select id, my_index(array(red, yellow, green), colorOrdinal) as color_name from colors;
小节 MaxCompute丰富了复杂类型的支持可以更好的适应各种应用场景。MaxCompute仍将在兼容性表达能力等多方面持续改进类型系统。从本系列的下一篇起开始介绍MaxCompute在SQL语言其他方面的改进
