2024-10-26 厉飞雨 阅读(25) 评论(0) 赞(1)

# （一）概述 前段时间公司规划了一个新的项目，我成了这个项目的负责人。在做技术选型时，有一个需求阻碍了前进的步伐。大概有十亿条数据，数据总量在六百G左右，这些海量的数据需要每天根据一定的逻辑计算得到几千万的值。当数据量达到这种程度时，Java应用已经无法支撑了，于是在技术选型时选中了大数据计算框架--Spark。 # （二）什么是Spark Spark是一种基于内存的快