标签：spark-core

2019-01-29admin阅读(4794)评论(0)赞(0)

首发个人公众号  spark技术分享 ,  同步个人网站  coolplayer.net ，未经本人同意，禁止一切转载很久之前的& ...

2019-01-29admin阅读(4050)评论(0)赞(3)

最近深入研究了下 spark shuffle 过程，感觉其中的设计和实现很是有趣，记录下来分享给大家

2019-01-25admin阅读(11342)评论(4)赞(7)

spark 自己的分布式存储系统 - BlockManager

2019-01-25admin阅读(10725)评论(0)赞(1)

彻底理解 spark 的checkpoint 机制

2018-02-09admin阅读(1529)评论(0)赞(1)

顾名思义，broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多，比如 driver 上有一张表，其他节点上运 ...

2018-02-09admin阅读(3159)评论(0)赞(0)

作为区别于 Hadoop 的一个重要 feature，cache 机制保证了需要访问重复数据的应用（如迭代型算法和交互式应用）可以运行的更 ...

2018-02-09admin阅读(1814)评论(0)赞(3)

前三章从 job 的角度介绍了用户写的 program 如何一步步地被分解和执行。这一章主要从架构的角度来讨论 master，worker，dri ...

2018-02-09admin阅读(2391)评论(0)赞(3)

上一章里讨论了 job 的物理执行图，也讨论了流入 RDD 中的 records 是怎么被 compute() 后流到后续 RDD 的，同时也分析了 ta ...

2018-02-09admin阅读(2356)评论(0)赞(3)

在 Overview 里我们初步介绍了 DAG 型的物理执行图，里面包含 stages 和 tasks。这一章主要解决的问题是：

2018-02-09admin阅读(1753)评论(0)赞(2)

General logical plan 典型的 Job 逻辑执行图如上所示，经过下面四个步骤可以得到最终执行结果： 从数据源（可以 ...