spark技术分享

2019-01-23admin阅读(4288)评论(6)赞(1)

1 背景 spark sql 的catalyst框架在内部通过ROB（基于规则的优化）和 CBO（基于成本的优化），从查询本身与目标数据的特点的 ...

2019-01-22admin阅读(2340)评论(0)赞(0)

题记 git上发现了网友总结的Elasticsearch BAT大厂面试题。只有题目，部分有答案，但不全。 正好抽出一些时间一起梳理一下 ...

2019-01-21admin阅读(2820)评论(0)赞(2)

spark sql 的优化框架 Catalyst 博大精深，里面的精华是很多大牛一个pr一个pr积累起来的，仔细琢磨琢磨相关源码也是一 ...

2019-01-14admin阅读(3336)评论(0)赞(1)

spark 2.4 对复杂数据处理类型引入了 29 个内嵌函数，文档参考 https://docs.databricks.com/_static/notebooks/apache ...

2019-01-11admin阅读(1372)评论(0)赞(0)

文章略长，全文阅读需要一点耐心。: )   Google 研发了十年自动驾驶后，终于在本月上线了自动驾驶出租车服务。感谢“深度 ...

2019-01-09admin阅读(2631)评论(0)赞(0)

我们在《360度测试：KAFKA会丢数据么？其高可用是否满足需求？》这篇文章中，详细说明了KAFKA是否适合用在业务系统中。但有 ...

2019-01-08admin阅读(2838)评论(0)赞(0)

spark sql 的优化框架 Catalyst 博大精深，里面的精华是很多大牛一个pr一个pr积累起来的，仔细琢磨琢磨相关源码也是一件痛并 ...

2019-01-02admin阅读(4273)评论(0)赞(0)

spark sql 的优化框架 Catalyst 博大精深，里面的精华是很多大牛一个pr一个pr积累起来的，仔细琢磨琢磨相关源码也是一件痛并 ...

2018-11-28admin阅读(4299)评论(0)赞(1)

 / 引言：Spark2 时代 /  Spark 1.x 时代里，以 SparkContext（及 RDD API）为基础，在 structured data 场景衍生出了 SQ ...

2018-02-09admin阅读(1809)评论(0)赞(0)

HFile索引结构解析 HFile中索引结构根据索引层级的不同分为两种：single-level和mutil-level，前者表示单层索引，后者表 ...