标签：原理剖析

2020-11-12admin阅读(4741)评论(0)赞(0)

1、前言近些年来，在对Spark SQL优化上，CBO是最成功的一个特性之一。CBO会计算一些和业务数据相关的统计数据，来优化查询， ...

2019-02-11admin阅读(1946)评论(0)赞(0)

对于一个复杂的分布式系统，如果没有丰富的经验和牛逼的架构能力，很难把系统做得简单易维护，我们都知道，一个软件的生命周 ...

2019-01-29admin阅读(4803)评论(0)赞(0)

首发个人公众号  spark技术分享 ,  同步个人网站  coolplayer.net ，未经本人同意，禁止一切转载很久之前的& ...

2019-01-29admin阅读(4054)评论(0)赞(3)

最近深入研究了下 spark shuffle 过程，感觉其中的设计和实现很是有趣，记录下来分享给大家

2019-01-25admin阅读(11346)评论(4)赞(7)

spark 自己的分布式存储系统 - BlockManager

2019-01-25admin阅读(10728)评论(0)赞(1)

彻底理解 spark 的checkpoint 机制

2019-01-25admin阅读(4712)评论(0)赞(0)

Spark CBO 背景。。。。。。。。。。。我们在 是时候学习真正的spark技术了 这篇文章中介绍了很多基于规则的优化 ...

2019-01-08admin阅读(2919)评论(0)赞(0)

spark sql 的优化框架 Catalyst 博大精深，里面的精华是很多大牛一个pr一个pr积累起来的，仔细琢磨琢磨相关源码也是一件痛并 ...

2019-01-02admin阅读(4372)评论(0)赞(0)

spark sql 的优化框架 Catalyst 博大精深，里面的精华是很多大牛一个pr一个pr积累起来的，仔细琢磨琢磨相关源码也是一件痛并 ...

2018-11-28admin阅读(4392)评论(0)赞(1)

 / 引言：Spark2 时代 /  Spark 1.x 时代里，以 SparkContext（及 RDD API）为基础，在 structured data 场景衍生出了 SQ ...