spark-sql Spark 3.0 AQE 专治各种数据倾斜2020-11-12admin阅读(4741)评论(0)赞(0)1、前言近些年来,在对Spark SQL优化上,CBO是最成功的一个特性之一。CBO会计算一些和业务数据相关的统计数据,来优化查询, ...
spark-sql Adaptive Execution 让 Spark SQL 更智能更高效2019-01-23admin阅读(4351)评论(6)赞(1)1 背景 spark sql 的catalyst框架在内部通过ROB(基于规则的优化)和 CBO(基于成本的优化),从查询本身与目标数据的特点的 ...