spark技术分享

2018-02-09admin阅读(1473)评论(0)赞(0)

HFile是HBase存储数据的文件组织形式，参考BigTable的SSTable和Hadoop的TFile实现。从HBase开始到现在，HFile经历了三个版本 ...

2018-02-09admin阅读(1663)评论(0)赞(0)

Memstore是HBase框架中非常重要的组成部分之一，是HBase能够实现高性能随机读写至关重要的一环。深入理解Memstore的工作原理 ...

2018-02-09admin阅读(1997)评论(0)赞(0)

众所周知，HBase默认适用于写多读少的应用，正是依赖于它相当出色的写入性能：一个100台RS的集群可以轻松地支撑每天10T的写 ...

2018-02-09admin阅读(1563)评论(0)赞(1)

顾名思义，broadcast 就是将数据从一个节点发送到其他各个节点上去。这样的场景很多，比如 driver 上有一张表，其他节点上运 ...

2018-02-09admin阅读(3184)评论(0)赞(0)

作为区别于 Hadoop 的一个重要 feature，cache 机制保证了需要访问重复数据的应用（如迭代型算法和交互式应用）可以运行的更 ...

2018-02-09admin阅读(1844)评论(0)赞(3)

前三章从 job 的角度介绍了用户写的 program 如何一步步地被分解和执行。这一章主要从架构的角度来讨论 master，worker，dri ...

2018-02-09admin阅读(2415)评论(0)赞(3)

上一章里讨论了 job 的物理执行图，也讨论了流入 RDD 中的 records 是怎么被 compute() 后流到后续 RDD 的，同时也分析了 ta ...

2018-02-09admin阅读(2377)评论(0)赞(3)

在 Overview 里我们初步介绍了 DAG 型的物理执行图，里面包含 stages 和 tasks。这一章主要解决的问题是：

2018-02-09admin阅读(1778)评论(0)赞(2)

General logical plan 典型的 Job 逻辑执行图如上所示，经过下面四个步骤可以得到最终执行结果： 从数据源（可以 ...

2018-02-09admin阅读(1438)评论(0)赞(2)

概览 拿到系统后，部署系统是第一件事，那么系统部署成功以后，各个节点都启动了哪些服务？ 部署图 从部署图中 ...