51工具盒子

依楼听风雨
笑看云卷云舒,淡观潮起潮落

RDD 有多少种持久化方式

RDD 有多少种持久化方式?memory_only 持久化方式,如果内存存储不了,会怎么操作

首次使用 RDD 的时候,我们可以选择对 RDD 进行持久化,当再次使用 RDD 是就可以直接
从之前的缓存中获取而无需再次进行计算。对于需要反复使用的 RDD 会带来很大的性能改
善。

StorageLevel 存储级别包含如下类别

  1. memory_only 默认级别,非序列化方式存储在 jvm 堆内存中,如果无法内存里放不下,
    则部分 partition 将不会缓存,会在每次需要时重新计算
赞(1)
未经允许不得转载:工具盒子 » RDD 有多少种持久化方式