标签：spark-sql

2020-11-12admin阅读(4736)评论(0)赞(0)

1、前言近些年来，在对Spark SQL优化上，CBO是最成功的一个特性之一。CBO会计算一些和业务数据相关的统计数据，来优化查询， ...

2019-01-25admin阅读(4706)评论(0)赞(0)

Spark CBO 背景。。。。。。。。。。。我们在 是时候学习真正的spark技术了 这篇文章中介绍了很多基于规则的优化 ...

2019-01-23admin阅读(4348)评论(6)赞(1)

1 背景 spark sql 的catalyst框架在内部通过ROB（基于规则的优化）和 CBO（基于成本的优化），从查询本身与目标数据的特点的 ...

2019-01-21admin阅读(2903)评论(0)赞(2)

spark sql 的优化框架 Catalyst 博大精深，里面的精华是很多大牛一个pr一个pr积累起来的，仔细琢磨琢磨相关源码也是一 ...

2019-01-14admin阅读(3410)评论(0)赞(1)

spark 2.4 对复杂数据处理类型引入了 29 个内嵌函数，文档参考 https://docs.databricks.com/_static/notebooks/apache ...

2013-07-17admin阅读(2064)赞(0)

SQLContext Caution As of Spark 2.0.0 SQLContext is only for backward compatibility and is a mere wrapper of ...

2013-07-16admin阅读(2686)赞(0)

CompressionCodecs CompressionCodecs is a utility object…​FIXME Table 1. Known Compression Codecs ...

2013-07-15admin阅读(1714)赞(0)

BufferedRowIterator BufferedRowIterator is…​FIXME

2013-07-14admin阅读(3763)赞(0)

PartitioningAwareFileIndex PartitioningAwareFileIndex is…​FIXME PartitioningAwareFileIndex uses a Ha ...