RDD 有多少种持久化方式?memory_only 持久化方式,如果内存存储不了,会怎么操作
首次使用 RDD 的时候,我们可以选择对 RDD 进行持久化,当再次使用 RDD 是就可以直接
从之前的缓存中获取而无需再次进行计算。对于需要反复使用的 RDD 会带来很大的性能改
善。
StorageLevel 存储级别包含如下类别
- memory_only 默认级别,非序列化方式存储在 jvm 堆内存中,如果无法内存里放不下,
则部分 partition 将不会缓存,会在每次需要时重新计算
RDD 有多少种持久化方式?memory_only 持久化方式,如果内存存储不了,会怎么操作
首次使用 RDD 的时候,我们可以选择对 RDD 进行持久化,当再次使用 RDD 是就可以直接
从之前的缓存中获取而无需再次进行计算。对于需要反复使用的 RDD 会带来很大的性能改
善。
StorageLevel 存储级别包含如下类别