spark技术分享

2020-11-18admin阅读(5051)评论(0)赞(0)

我们都知道，之前的 CBO，都是基于静态信息来对 执行计划进行优化，静态统计信息大家都懂的，不一定准确，比如hive中的catal ...

2020-11-12admin阅读(4819)评论(0)赞(0)

1、前言近些年来，在对Spark SQL优化上，CBO是最成功的一个特性之一。CBO会计算一些和业务数据相关的统计数据，来优化查询， ...

2019-12-24admin阅读(4008)评论(0)赞(2)

目录：一、数据倾斜介绍与定位二、解决方法一：聚合数据源三、解决方法二：提高shuffle操作reduce并行度四、解决方法之三： ...

2019-12-24admin阅读(4303)评论(0)赞(0)

Delta 原本是在 Databricks Runtime 里面的一个增值功能，在 spark + AI Summit 2019 大会上，官方以 Apache License 2.0 协 ...

2019-12-24admin阅读(2585)评论(0)赞(0)

spark 君前面已经分享了好几篇关于kafka的文章，从基本概念和使用到高可用机制解析到最佳实践。今天分享几个kafka的面试题， ...

2019-04-30admin阅读(4894)评论(0)赞(0)

什么是 Delta Delta Lake 是一个计算层和一个一种存储格式，完全兼容 Spark APIs, 提供了高稳定性的数据和查询性能来支 ...

2019-04-30admin阅读(2533)评论(0)赞(0)

When you port existing workloads to Delta Lake, you should be aware of the following simplifications and differences ...

2019-04-30admin阅读(3813)评论(1)赞(1)

Delta Lake 对读写请求提供了 ACID 的事务保证。

2019-04-30admin阅读(6972)评论(0)赞(1)

Delta 的一大优势就是和 Spark Structured Streaming 深度整合，使用 readStream and writeStream. 就可以对Delata 进行流式 ...