Delta

2019-12-24admin阅读(3949)评论(0)赞(2)

目录：一、数据倾斜介绍与定位二、解决方法一：聚合数据源三、解决方法二：提高shuffle操作reduce并行度四、解决方法之三： ...

2019-12-24admin阅读(4236)评论(0)赞(0)

Delta 原本是在 Databricks Runtime 里面的一个增值功能，在 spark + AI Summit 2019 大会上，官方以 Apache License 2.0 协 ...

2019-04-30admin阅读(4828)评论(0)赞(0)

什么是 Delta Delta Lake 是一个计算层和一个一种存储格式，完全兼容 Spark APIs, 提供了高稳定性的数据和查询性能来支 ...

2019-04-30admin阅读(2471)评论(0)赞(0)

When you port existing workloads to Delta Lake, you should be aware of the following simplifications and differences ...

2019-04-30admin阅读(3751)评论(1)赞(1)

Delta Lake 对读写请求提供了 ACID 的事务保证。

2019-04-30admin阅读(6906)评论(0)赞(1)

Delta 的一大优势就是和 Spark Structured Streaming 深度整合，使用 readStream and writeStream. 就可以对Delata 进行流式 ...

2019-04-30admin阅读(4114)评论(0)赞(1)

Create a table 指定 format 为delta 就可以使用 DataFrameWriter 来原子写入 Delta 了 [crayon-673f5ae8cdd3f3782413 ...

2019-04-30admin阅读(9087)评论(2)赞(4)

这个入门教程可以使你快速掌握Delta的基本用法，文章中有一些代码片段供你参考，delta同时支持 批处理和流处理，你也可以交 ...